A empresa de armazenamento de dados baseada em nuvem Snowflake está adicionando mais recursos e serviços de modelo de linguagem grande (LLM) relacionados à IA generativa ao seu serviço de IA totalmente gerenciado Cortex.

Cortex, apresentado em novembro do ano passado e faz parte da plataforma AI Data Cloud da empresa, fornece às empresas os blocos de construção para usar LLMs e IA sem exigir experiência no gerenciamento de infraestrutura complexa baseada em GPU.

As atualizações – anunciadas no Snowflake Summit anual da empresa – incluem um novo estúdio de IA e aprendizado de máquina (ML) e outros recursos de chatbot, como Cortex Analyst e Cortex Search.

Cortex Playground sem código para trazer dados corporativos para LLMs

Cortex AI & ML Studio, também conhecido como Cortex Playground, é uma interface sem código dentro do Cortex que permite às empresas trazer seus dados corporativos para LLMs de fornecedores como Google, Meta, Mistral, Reka e Snowflake's Arctic.

Espera-se que o Cortex Playground, que está atualmente em versão prévia privada, ajude as empresas a acelerar o desenvolvimento de aplicativos de IA e forneça uma interface para encontrar o LLM melhor e mais econômico para um caso de uso específico, disse a empresa.

No entanto, de acordo com analistas, a mudança para lançar o Cortex Playground é uma estratégia para enfrentar muitos desafios, incluindo tentar recuperar o atraso com o rival Databricks.

“A Snowflake está introduzindo a interface sem código agora, provavelmente devido à crescente pressão do mercado e dos concorrentes que já adotaram esses ambientes de desenvolvimento fáceis de usar”, disse Steven Dickens, vice-presidente da empresa de pesquisa e serviços de consultoria The Futurum Group.

“Esta mudança é uma reação ao sucesso de plataformas como Databricks, que oferecem ferramentas abrangentes de desenvolvimento de IA e aprendizado de máquina, e para neutralizar a percepção do Snowflake como uma solução excessivamente cara e complexa”, acrescentou Dickens.

Databricks fornece uma interface de baixo código por meio de seus notebooks colaborativos e integrações com MLflow.

O provedor da plataforma data lakehouse incursionou no espaço de baixo código três anos atrás, quando adquiriu a startup alemã 8080 Labs para integrar a ferramenta de ciência de dados bambulib na plataforma lakehouse, disse Hyoun Park, analista-chefe da Amalgam Insights.

Outra rival, a Oracle, também vem expandindo suas capacidades de desenvolvimento de baixo código com o Oracle APEX, disseram analistas.

Por outro lado, Dickens acredita que o Cortex Playground pode ajudar a Snowflake a reter alguma participação no mercado e atrair usuários.

Para ajudar ainda mais as empresas a melhorar o desempenho do LLM e oferecer experiências personalizadas, a Snowflake lançou o Cortex Fine-Tuning, que está atualmente em versão prévia pública.

O Cortex Fine-Tuning pode ser acessado através do Playground ou de uma função SQL simples, disse a empresa, acrescentando que a personalização sem servidor está disponível para um subconjunto de modelos Meta e Mistral AI.

Analista, Pesquisa para aumentar as habilidades de construção de chatbot do Cortex

Snowflake adicionou recursos adicionais – Cortex Analyst e Cortex Search – que impulsionam o desenvolvimento de chatbot da Cortex, que por sua vez ajudará as empresas a construir bots que podem responder perguntas sobre os dados de uma empresa, tanto estruturados quanto não estruturados, usando linguagem natural.

O Cortex Analyst, que é construído com os modelos Llama 3 e Mistral Large da Meta, segundo a empresa, permite que as empresas construam aplicativos com base em seus dados analíticos no Snowflake.

A mudança para introduzir o Cortex Analyst ajuda a Snowflake a manter um ecossistema mais fechado focado no Snowflake, ao mesmo tempo que fornece uma porta de entrada para LLMs de código aberto, disse Park.

No entanto, Dickens destacou que rivais, como Databricks, Elastic, Oracle e Teradata, já oferecem capacidades semelhantes e a medida parece reacionária, motivada pela necessidade de contrariar as críticas sobre os seus elevados custos e flexibilidade limitada.

Espera-se que o Cortex Analyst entre em versão prévia pública em breve e tem sido usado por clientes como Zoom e Bayer.

O Cortex Search, por outro lado, usa a tecnologia de recuperação e classificação da Neeva junto com a capacidade de incorporação do Ártico da empresa para ajudar os usuários corporativos a criar aplicativos em documentos e outros conjuntos de dados baseados em texto por meio de pesquisa híbrida de nível empresarial – uma combinação de vetor e texto – como um serviço.

A Snowflake adquiriu a Neeva no ano passado, em maio, para adicionar pesquisa generativa baseada em IA à sua nuvem de dados de IA.

O Cortex Search, de acordo com Park, ajudará as empresas a preencher lacunas entre a compreensão inicial dos documentos como dados e a capacidade de traduzir documentos em capacidades de IA.

“Embora o desenvolvimento de aplicativos com base em dados estruturados tradicionais seja bastante comum, a capacidade de criar aplicativos com base em documentos e dados não estruturados ainda não é comum no mundo dos negócios”, disse Park.

Vários recursos do Cortex serão disponibilizados em breve

O Snowflake Summit deste ano viu a empresa prometer mover uma série de recursos e capacidades para disponibilidade geral em breve.

Um desses recursos é o Cortex Guard da Snowflake, que aproveita o Llama Guard da Meta – uma proteção de entrada-saída baseada em LLM – que pode ser usada para filtrar e sinalizar conteúdo prejudicial em dados e ativos corporativos, como violência e ódio, automutilação ou atividades criminosas.

Outro recurso que estará disponível em breve é ​​o Document AI, apresentado em junho do ano passado.

Document AI, baseado na tecnologia da aquisição da Applica pela Snowflake no ano passado, tem como objetivo ajudar as empresas a fazer mais uso de dados não estruturados, disse a empresa, acrescentando que o novo LLM pode ajudar a aumentar a produtividade empresarial, gerando insights a partir de documentos.

Snowflake Copilot, um assistente de texto para SQL, também estará disponível em breve, disse a empresa, acrescentando que o Copilot combina Mistral Large com o modelo de geração SQL proprietário da Snowflake para acelerar a produtividade de cada usuário SQL.

Outras atualizações incluem Snowflake movendo o recurso Model Registry, introduzido no ano passado em junho, para disponibilidade geral.

O registro de modelos, segundo a empresa, é um repositório unificado para os modelos de aprendizado de máquina de uma empresa. Ele foi projetado para permitir que os usuários centralizem a publicação e a descoberta de modelos, simplificando assim a colaboração entre cientistas de dados e engenheiros de aprendizado de máquina.

Além disso, a Snowflake anunciou o Snowflake Feature Store, um recurso integrado direcionado a cientistas de dados e engenheiros de ML para ajudar a criar, armazenar, gerenciar e fornecer recursos de ML consistentes para treinamento e inferência de modelos.

A empresa disse que o Snowflake Feature Store está atualmente em pré-visualização pública, acrescentando que estava lançando outro recurso chamado ML Lineage em pré-visualização privada.

De acordo com Snowflake, o ML Lineage permitirá que as equipes corporativas rastreiem o uso de recursos, conjuntos de dados e modelos em todo o seu ciclo de vida.