Não seria necessário um modelo de linguagem grande (LLM) de bilhões de parâmetros para prever que o tema dominante da conferência Google Cloud Next deste ano seria IA generativa – na verdade, provavelmente será o tema dominante do ano para a maioria dos softwares empresariais desenvolvedores.
No evento, o Google introduziu uma série de atualizações em sua plataforma em nuvem para facilitar o trabalho com LLMs e adicionou assistentes generativos baseados em IA a muitas de suas ofertas. Aqui estão seis conclusões principais da conferência:
Reconhecendo que as cargas de trabalho de IA diferem de outras cargas de trabalho, o Google apresentou uma série de atualizações em sua infraestrutura em nuvem para apoiá-las e ajudar as empresas a otimizar os gastos com nuvem. Primeiro: o Google fez a última iteração de seu módulo acelerador proprietário para cargas de trabalho de IA, o Tensor Processing Unit (TPU) v5p, geralmente disponível em sua nuvem. Os pods de TPU agora têm suporte para Google Kubernetes Engine (GKE) e veiculação de vários hosts no GKE.
Além disso, sob uma parceria ampliada com a Nvidia, o Google também está introduzindo a máquina virtual (VM) A3 Mega em sua nuvem, alimentada por GPUs Nvidia H100.
Outras atualizações incluem uma série de otimizações, especialmente cache, em seus produtos de armazenamento. Essas melhorias também vêm com um novo serviço de gerenciamento de recursos e agendamento de tarefas para cargas de trabalho de IA, denominado Dynamic Workload Scheduler.
No entanto, a programação em pares com a ferramenta de codificação de IA do Google não será mais um dueto. O Google mudou o nome de seu Duet AI for Developers lançado anteriormente, renomeando-o Gemini Code Assist para combinar com a marca de seu mais recente LLM.
Gemini Code Assist tem novos recursos para combinar com seu novo nome. Baseado no modelo Gemini 1.5 Pro, ele fornece preenchimento de código, geração de código e serviços de chat com tecnologia de IA. Ele funciona no Console do Google Cloud e se integra a editores de código populares, como Visual Studio Code e JetBrains, ao mesmo tempo que oferece suporte à base de código de uma empresa no local, GitHub, GitLab, Bitbucket ou vários repositórios.
Os novos aprimoramentos e recursos adicionados ao Gemini Code Assist incluem reconhecimento completo da base de código, personalização de código e melhorias no ecossistema de parceiros da ferramenta que aumentam sua eficiência.
Para aumentar a eficiência da geração de código, a empresa está expandindo o ecossistema de parceiros do Gemini Code Assist adicionando parceiros como Datadog, Datastax, Elastic, HashiCorp, Neo4j, Pinecone, Redis, Singlestore, Synk e Stack Overflow.
Para gerenciar serviços em nuvem, o provedor introduziu o Gemini Cloud Assist, um assistente com tecnologia de IA projetado para ajudar equipes corporativas a gerenciar aplicativos e redes no Google Cloud.
O Gemini Cloud Assist pode ser acessado por meio de uma interface de bate-papo no console do Google Cloud. É alimentado pelo modelo de linguagem grande proprietário do Google, Gemini.
As empresas também podem usar o Gemini Cloud Assist para priorizar economia de custos, desempenho ou alta disponibilidade. Com base nas informações de linguagem natural fornecidas por qualquer equipe empresarial, o Gemini Cloud Assist identifica áreas de melhoria e sugere como atingir essas metas. Ele também pode ser incorporado diretamente nas interfaces onde as equipes corporativas gerenciam diferentes produtos e cargas de trabalho em nuvem.
Além de gerenciar os ciclos de vida dos aplicativos, o Gemini Cloud Assist pode ser usado pelas empresas para gerar assistência baseada em IA em uma variedade de tarefas de rede, incluindo design, operações e otimização.
O assistente de IA baseado em Gemini também foi adicionado ao conjunto de ofertas de operações de segurança do Google Cloud. Ele pode fornecer recomendações de gerenciamento de identidade e acesso (IAM) e insights importantes, incluindo insights para computação confidencial, que ajudam a reduzir a exposição ao risco.
Para competir com ofertas semelhantes da Microsoft e da AWS, o Google Cloud lançou uma nova ferramenta de IA generativa para a construção de chatbots, o Vertex AI Agent Builder. É uma ferramenta sem código que combina o Vertex AI Search e o portfólio de produtos Conversation da empresa. Ele fornece uma variedade de ferramentas para criar agentes virtuais, sustentados pelos Gemini LLMs do Google.
Seu grande ponto de venda é o sistema RAG pronto para uso, Vertex AI Search, que pode aterrar os agentes mais rapidamente do que as técnicas RAG tradicionais. Suas APIs RAG integradas podem ajudar os desenvolvedores a realizar verificações rápidas nas entradas de aterramento.
Além disso, os desenvolvedores têm a opção de basear os resultados do modelo na Pesquisa Google para melhorar ainda mais as respostas.
Outras alterações na Vertex AI incluem atualizações nos LLMs existentes e recursos expandidos de MLops.
As atualizações do LLM incluem uma prévia pública do modelo Gemini 1.5 Pro, que tem suporte para contexto de 1 milhão de tokens. Além disso, o Gemini 1.5 Pro no Vertex AI também será capaz de processar fluxos de áudio, incluindo fala e áudio de vídeos.
O provedor de serviços em nuvem também atualizou sua família Imagen 2 de LLMs com novos recursos, incluindo recursos de edição de fotos e a capacidade de criar vídeos de 4 segundos ou “imagens ao vivo” a partir de prompts de texto. Outras atualizações do LLM para Vertex AI incluem a adição do CodeGemma, um novo modelo leve de sua família proprietária Gemma.
As atualizações nas ferramentas MLops incluem a adição do Vertex AI Prompt Management, que ajuda as equipes corporativas a experimentar prompts, migrar prompts e rastrear prompts junto com parâmetros. Outros recursos expandidos incluem ferramentas como Avaliação Rápida para verificar o desempenho do modelo durante a iteração no design do prompt.
O Google Cloud adicionou recursos impulsionados por seu modelo proprietário de linguagem grande, Gemini, às suas ofertas de banco de dados, que incluem Bigtable, Spanner, Memorystore para Redis, Firestore, CloudSQL para MySQL e AlloyDB para PostgreSQL.
Os recursos orientados pelo Gemini incluem geração de SQL e assistência de IA no gerenciamento e migração de bancos de dados.
Para ajudar a gerenciar melhor os bancos de dados, o provedor de serviços em nuvem adicionou um novo recurso chamado Database Center, que permitirá às operadoras gerenciar uma frota inteira de bancos de dados a partir de um único painel.
O Google também estendeu o Gemini ao seu serviço de migração de banco de dados, que anteriormente tinha suporte para Duet AI.
Os recursos aprimorados do Gemini tornarão o serviço melhor, disse a empresa, acrescentando que o Gemini pode ajudar a converter código residente no banco de dados, como procedimentos armazenados e funções, para o dialeto PostgreSQL.
Além disso, a migração de banco de dados desenvolvida pelo Gemini também se concentra em explicar a tradução do código com uma comparação lado a lado de dialetos, juntamente com explicações detalhadas do código e recomendações.
Como parte dessas atualizações, o provedor de serviços em nuvem adicionou novos recursos generativos baseados em IA ao AlloyDB AI. Esses novos recursos incluem permitir que aplicativos generativos baseados em IA consultem dados com linguagem natural e um novo tipo de visualização de banco de dados.
O Google no Google Cloud Next 24 revelou três projetos de código aberto para construir e executar modelos generativos de IA.
Os projetos de código aberto recém-revelados são MaxDiffusion, JetStream e Optimum-TPU.
A empresa também introduziu novos LLMs em seu projeto MaxText de LLMs construídos em JAX. Os novos modelos LLM no MaxText incluem Gemma, GPT-3, Llama 2 e Mistral, que são compatíveis com Google Cloud TPUs e GPUs Nvidia.
