O Google adicionou novos modelos de linguagem grande (LLMs) e um novo recurso de criação de agentes à sua plataforma de IA e aprendizado de máquina Vertex AI em sua conferência anual Google Cloud Next.

O LLM inclui uma prévia pública do modelo Gemini 1.5 Pro, que tem suporte para contexto de 1 milhão de tokens.

O suporte expandido para contexto permite o raciocínio nativo sobre enormes quantidades de dados específicos para uma solicitação de entrada, disse a empresa, acrescentando que recebeu feedback das empresas de que este suporte expandido pode eliminar a necessidade de ajustar modelos ou empregar geração aumentada de recuperação ( RAG) para fundamentar as respostas do modelo.

Além disso, o Gemini 1.5 Pro no Vertex AI também será capaz de processar fluxos de áudio, incluindo fala e áudio de vídeos.

O Google disse que a capacidade de processamento de áudio fornece aos usuários análises multimodais, fornecendo insights sobre texto, imagens, vídeos e áudio.

O modelo Pro também terá suporte para transcrição, que pode ser usada para pesquisar conteúdo de áudio e vídeo, acrescentou a empresa.

O provedor de serviços em nuvem também atualizou sua família Imagen 2 de LLMs com novos recursos, incluindo recursos de edição de fotos e a capacidade de criar vídeos de 4 segundos ou “imagens ao vivo” a partir de prompts de texto.

Embora o recurso de conversão de texto em imagens ao vivo esteja em versão prévia, os recursos de edição de fotos foram disponibilizados ao público junto com um recurso de marca d'água digital que permite aos usuários marcar imagens geradas por IA.

Outras atualizações do LLM para Vertex AI incluem a adição do CodeGemma, um novo modelo leve de sua família proprietária Gemma.

Para ajudar as empresas com modelos de base a obter respostas mais precisas, o Google permitirá que as equipes empresariais baseiem LLMs na Pesquisa Google, bem como em seus próprios dados, por meio da Vertex AI.

“Os modelos básicos são limitados por seus dados de treinamento, que podem rapidamente se tornar desatualizados e podem não incluir as informações que os modelos precisam para casos de uso corporativo”, disse a empresa, acrescentando que a base na Pesquisa Google pode melhorar significativamente a precisão das respostas.

Recursos expandidos de MLops na Vertex AI

O provedor de serviços em nuvem expandiu os recursos de MLops na Vertex AI para ajudar as empresas com tarefas de aprendizado de máquina.

Um dos recursos expandidos é o Vertex AI Prompt Management, que ajuda as equipes empresariais a experimentar prompts, migrar prompts e rastrear prompts junto com parâmetros.

O Vertex AI Prompt Management fornece uma biblioteca de prompts usados ​​entre as equipes, incluindo controle de versão, a opção de restaurar prompts antigos e sugestões geradas por IA para melhorar o desempenho dos prompts”, disse a empresa.

O recurso de gerenciamento imediato também permite que as empresas comparem as iterações imediatas lado a lado para avaliar como pequenas mudanças impactam os resultados, ao mesmo tempo que permite que as equipes façam anotações, acrescentou.

Outros recursos expandidos incluem ferramentas de avaliação, como Avaliação Rápida, que pode avaliar o desempenho do modelo ao iterar no design imediato. A Avaliação Rápida está atualmente em versão prévia.

Além de adicionar novos recursos aos modelos, a empresa expandiu a residência de dados para dados armazenados em repouso para APIs Gemini, Imagen e Embeddings na Vertex AI para 11 novos países – Austrália, Brasil, Finlândia, Hong Kong, Índia, Israel, Itália , Polônia, Espanha, Suíça e Taiwan.

Vertex AI ganha novo agente construtor

Para competir com rivais como Microsoft e AWS, o Google Cloud lançou uma nova oferta de construtor de agente baseado em IA generativa.

Chamada Vertex AI Agent Builder, a oferta sem código, que é uma combinação do Vertex AI Search e do portfólio de produtos Conversation da empresa, oferece uma gama de ferramentas para construir agentes virtuais, sustentados pelos LLMs Gemini do Google, com mais rapidez.

A vantagem da oferta sem código é seu sistema RAG pronto para uso, Vertex AI Search, que pode aterrar os agentes mais rapidamente em comparação com as técnicas RAG tradicionais, que são demoradas e complicadas.

“São necessários apenas alguns cliques para começar a funcionar e, com componentes pré-construídos, a plataforma simplifica a criação, manutenção e gerenciamento de implementações mais complicadas”, afirmou a empresa em comunicado.

As APIs RAG integradas à oferta podem ajudar os desenvolvedores a realizar verificações rápidas nas entradas de aterramento, acrescentou.

Para implementações ainda mais complexas, o Vertex AI Agent Builder também oferece pesquisa vetorial para criar sistemas RAG personalizados baseados em embeddings.

Além disso, os desenvolvedores também têm a opção de basear os resultados do modelo na Pesquisa Google para melhorar ainda mais as respostas.

A gama de ferramentas incluídas na oferta sem código inclui extensões, funções e conectores de dados da Vertex AI.

Embora as extensões da Vertex AI sejam módulos reutilizáveis ​​pré-construídos para conectar um LLM a uma API ou ferramenta específica, as funções da Vertex AI ajudam os desenvolvedores a descrever um conjunto de funções ou APIs e fazer com que o Gemini selecione de forma inteligente, para uma determinada consulta, a API ou função certa para chamada, junto com os parâmetros de API apropriados, disse a empresa.

Os conectores de dados, por outro lado, ajudam a ingerir dados de aplicações empresariais e de terceiros, como ServiceNow, Hadoop e Salesforce, conectando aplicações generativas a sistemas empresariais comumente usados, acrescentou.

Além de todas as atualizações do Vertex AI, a empresa adicionou o Gemini à sua oferta de business intelligence, Looker.

A infusão do Gemini no Looker adicionará recursos como análise de conversação, geração de relatórios e fórmulas, LookML e assistência de visualização e geração automatizada de slides do Google à plataforma.

Outras atualizações no conjunto de ofertas de análise de dados incluem o lançamento de uma versão gerenciada do Apache Kafka para BigQuery e consulta contínua para o mesmo serviço em visualização.