A Amazon Web Services (AWS) está transferindo alguns recursos de seu serviço generativo de construção de aplicativos de IA, Amazon Bedrock, para disponibilidade geral, disse a empresa na terça-feira.
Esses recursos incluem proteções para IA, uma ferramenta de avaliação de modelo e novos modelos de linguagem grande (LLMs).
O recurso guardrails para IA, denominado Guardrails for Amazon Bedrock, foi apresentado no ano passado e está em pré-visualização desde então.
Guardrails for Amazon Bedrock, que aparece como um assistente dentro do Bedrock, pode ser usado para bloquear até 85% de conteúdo prejudicial, disse a empresa, acrescentando que pode ser usado em modelos ajustados, agentes de IA e todos os LLMs disponíveis como parte de Bedrock.
Esses LLMs incluem Amazon Titan Text, Anthropic Claude, Meta Llama 2, AI21 Jurassic e Cohere Command.
As empresas podem usar o assistente Guardrails para criar proteções personalizadas de acordo com as políticas da empresa e implementá-las.
Essas proteções incluem tópicos negados, filtros de conteúdo e redação de informações de identificação pessoal (PII).
“As empresas podem definir um conjunto de tópicos que são indesejáveis no contexto da sua aplicação usando uma breve descrição em linguagem natural”, explicou a empresa em uma postagem no blog, acrescentando que o guardrail pode ser testado para ver se está respondendo conforme o requisito.
Separadamente, os filtros de conteúdo fornecem acesso a botões de alternância que permitem às empresas eliminar conteúdo prejudicial nas categorias de ódio, insultos, sexual e violência.
Espera-se que o recurso de redação de PII dentro do Guardrails for Amazon Bedrock, que está atualmente em desenvolvimento, permita que as empresas editem informações pessoais, como e-mail e números de telefone, das respostas do LLM.
Além disso, o Guardrails for Amazon Bedrock se integra ao Amazon CloudWatch, para que as empresas possam monitorar e analisar as entradas do usuário e modelar respostas que violem as políticas definidas nas proteções.
AWS está tentando se atualizar com a IBM e outros
Assim como a AWS, vários outros provedores de modelos, como IBM, Google Cloud, Nvidia e Microsoft, oferecem recursos semelhantes para ajudar as empresas a obter controle sobre o viés da IA.
A AWS, de acordo com Hyoun Park, analista-chefe da Amalgam Insights, está seguindo os passos da IBM, Google, Microsoft, Apple, Meta, Databricks e todas as outras empresas que lançam serviços de IA no fornecimento de proteções governadas.
“Está se tornando cada vez mais óbvio que o dinheiro real na IA estará relacionado à governança, confiança, segurança, precisão semântica e conhecimento especializado das respostas fornecidas. A AWS não pode acompanhar a IA simplesmente por ser mais rápida e maior; ela também precisa fornecer as mesmas proteções ou melhores proteções que outros fornecedores de IA para fornecer uma experiência centrada no cliente”, explicou Park.
No entanto, ele também destacou que a IBM, entre todos os outros fornecedores de modelos ou fornecedores de IA, tem uma enorme vantagem sobre todos os outros fornecedores de IA na criação de barreiras de proteção para IA, como a IBM tem feito isso para seu assistente de IA Watson há mais de uma década.
“Embora os esforços da IBM não tenham sido totalmente bem-sucedidos, a experiência que a IBM adquiriu trabalhando com saúde, governo, clima e muitos outros conjuntos de dados desafiadores acabou proporcionando uma vantagem inicial no desenvolvimento de proteções de IA”, explicou Park, acrescentando que a AWS ainda está no início o suficiente na introdução de barreiras de proteção para a IA para compensar o terreno perdido, pois ainda é cedo para LLMs e IA generativa.
Capacidade de importação de modelo personalizado para Bedrock
Como parte das atualizações, a AWS também está adicionando um novo recurso de importação de modelo personalizado que permitirá às empresas trazer seus próprios modelos personalizados para a Bedrock, o que, segundo ela, ajudará a reduzir a sobrecarga operacional e acelerar o desenvolvimento de aplicativos.
A capacidade foi adicionada porque o provedor de serviços em nuvem está vendo a demanda das empresas, que constroem seus próprios modelos ou ajustam modelos disponíveis publicamente em seu setor industrial com seus próprios dados, para acessar ferramentas como bases de conhecimento, proteções, avaliação de modelos, e agentes via Bedrock, disse Sherry Marcus, diretora de ciência aplicada da AWS.
No entanto, Park da Amalgam Insights apontou que a AWS está possivelmente e mais provavelmente adicionando a API para ajudar empresas que têm muitos de seus dados na AWS e usaram seu serviço SageMaker para treinar seus modelos de IA.
Isso também ajuda as empresas a pagar por todos os serviços por meio de uma única fatura, em vez de ter que estabelecer relacionamentos com vários fornecedores, explicou Park, acrescentando que esta estratégia visa mostrar que as cargas de trabalho relacionadas à IA são melhor suportadas na AWS.
O recurso de importação de modelo personalizado, que está em versão prévia, pode ser acessado por meio de uma API gerenciada no Bedrock e oferece suporte a três arquiteturas de modelo aberto, incluindo Flan-T5, Llama e Mistral.
Capacidade de avaliação de modelo e LLMs passam para disponibilidade geral
A AWS está migrando o recurso de avaliação de modelo do Bedrock, que foi apresentado na re:Invent no ano passado, para disponibilidade geral.
Apelidado de Avaliação de Modelo no Amazon Bedrock, o recurso tinha como objetivo simplificar diversas tarefas, como identificar benchmarks, configurar ferramentas de avaliação e executar avaliações, economizando tempo e custos, disse a empresa.
As atualizações feitas no Bedrock também incluem a adição de novos LLMs, como o novo Llama 3 e a família de modelos Command da Cohere.
Ao mesmo tempo, o provedor de serviços em nuvem também está migrando o modelo Amazon Titan Image Generator para disponibilidade geral.
O modelo, que foi apresentado no ano passado, apresentava marca d'água invisível em testes. A versão geralmente disponível do modelo adicionará marcas d'água invisíveis a todas as imagens que criar, disse Marcus.
“Também anunciaremos uma nova API de detecção de marca d’água em versão prévia que determinará se uma imagem fornecida tem uma marca d’água AWS ou não”, disse Marcus.
Outra atualização importante do LLM é a adição do modelo Amazon Titan Text Embeddings V2, que a AWS afirma ser otimizado para casos de uso de geração aumentada de recuperação (RAG), como recuperação de informações, chatbots de perguntas e respostas e recomendações personalizadas.
O modelo V2, que será lançado na próxima semana, segundo Marcus, reduz os custos de armazenamento e computação ao permitir o que a AWS chama de incorporações flexíveis.
“As incorporações flexíveis reduzem o armazenamento geral em até 4x, reduzindo significativamente os custos operacionais e mantendo 97% da precisão para casos de uso de RAG”, explicou Marcus.
Os clientes atuais da Amazon Bedrock incluem empresas como Salesforce, Dentsu, Amazon e Pearson, entre outras.
