Os líderes empresariais têm estado sob pressão para encontrar a melhor forma de incorporar a IA generativa nas suas estratégias para produzir os melhores resultados para a sua organização e partes interessadas. De acordo com a Gartner, 38% dos líderes empresariais observaram que a experiência e a retenção do cliente são o objetivo principal dos seus investimentos em genAI, tornando-a essencial para o futuro dos seus negócios. No entanto, por mais atraente que possa parecer, é importante considerar se os LLMs (grandes modelos de linguagem) são adequados para o seu negócio antes de desenvolver a sua estratégia de IA.
Embora geralmente estejam disponíveis e sejam de fácil acesso imediato, existem desafios no uso eficaz de LLMs prontos para uso. Isso inclui uma experiência do cliente muito generalizada, sem contexto do setor, um custo aumentado de terceirização de modelos de incorporação e preocupações com a privacidade devido ao compartilhamento externo de dados. Treinar um modelo interno de IA pode abordar diretamente essas preocupações, ao mesmo tempo que inspira criatividade e inovação dentro da equipe para utilizar o modelo em outros projetos. Depois de decidir que precisa de uma IA específica de domínio, aqui estão cinco perguntas principais que você deve fazer antes de embarcar na jornada para criar seu próprio modelo interno.
Pergunta 1: Qual é o problema comercial e como a IA pode resolvê-lo?
Antes de mergulhar no mundo dos modelos fundamentais e LLMs, dê um passo atrás e observe o problema que você está procurando resolver. Depois de identificar isso, é importante determinar quais tarefas de linguagem natural você precisa. Exemplos dessas tarefas incluem resumo, reconhecimento de entidade nomeada, similaridade textual semântica e resposta a perguntas, entre outros.
Uma tarefa downstream e reconhecimento de domínio são maçãs e laranjas, e é importante saber a diferença. Apesar de sua popularidade, modelos LLM como GPT, Llama e PaLM são apropriados apenas para tarefas posteriores (como resposta a perguntas e resumo) com solicitações de poucos disparos ou ajuste fino adicional. Embora os modelos fundamentais possam funcionar bem em um contexto mais amplo, eles não possuem o conhecimento específico do setor ou do negócio necessário para serem úteis na maioria das aplicações. Alcançar ótimos resultados em tarefas posteriores não significa que também haverá reconhecimento de domínio para seu setor específico.
Pergunta 2: Já existem ferramentas de IA específicas do setor?
Como parte da fase de pesquisa da sua estratégia de IA, é importante avaliar de perto as ferramentas existentes, porque algumas delas podem ser específicas do setor, mas ainda assim faltam nuances específicas para o seu negócio. Ao auditar as ferramentas disponíveis, concentre-se em garantir que o modelo de IA possa compreender o contexto, bem como as palavras no idioma de sua escolha, para melhor compreender os prompts e gerar respostas relevantes para o seu usuário.
No nosso caso, depois de fazer pesquisas e testes, descobrimos que não havia um LLM de segurança cibernética forte especificamente para riscos de terceiros. Portanto, nossa equipe selecionou um modelo baseado em BERT para ajustes em segurança cibernética há dois anos.
Além disso, ao construir o nosso modelo de IA, notámos que os resultados se enquadravam consistentemente num intervalo específico à medida que analisávamos vários textos no domínio da segurança cibernética. O modelo base que empregamos percebeu o texto como homogêneo, atribuindo a semelhança à sua origem dentro do mesmo domínio. Trabalhamos muito para fornecer contexto e nuances da indústria de segurança cibernética, o que ajudou a resolver nosso problema de falta de conhecimento do domínio.
O contexto também é essencial porque ainda hoje a genAI pode ter alucinações sobre assuntos específicos e não deve ser 100% confiável como está. Esta é uma das muitas razões pelas quais a administração Biden-Harris emitiu uma ordem executiva sobre IA segura, protegida e confiável. Antes de usar uma ferramenta de IA como serviço, as agências governamentais precisam garantir que o serviço que estão usando é seguro e confiável, o que geralmente não é óbvio e não é capturado apenas observando um conjunto de resultados de exemplo. E embora a ordem executiva não se aplique às empresas do sector privado, estas organizações deverão ter isto em consideração se adoptarem políticas semelhantes.
Embora o processo de treinamento e ajuste envolvido em um modelo interno inclua testes completos, identificação de pontos fracos e análise do modelo e seja bastante demorado, valerá a pena no longo prazo.
Pergunta 3: Seus dados estão prontos?
Os dados da sua organização são o ativo mais importante a ser avaliado antes de treinar seu próprio LLM. As empresas que acumularam dados de alta qualidade ao longo do tempo são as mais sortudas na era atual do LLM, pois os dados são necessários em quase todas as etapas do processo, incluindo treinamento, testes, retreinamento e testes beta. Dados de alta qualidade são a chave para o sucesso ao treinar um LLM, por isso é importante considerar o que isso realmente significa. A resposta certamente muda dependendo da tarefa e do domínio, mas uma regra geral é que os dados que necessitam de curadoria mínima e menos retreinamento.
Depois que as empresas iniciam a jornada para treinar um LLM, normalmente descobrem que seus dados não estão prontos de diversas maneiras. Os dados podem revelar-se demasiado ruidosos ou rotulados de forma ineficaz devido à má seleção de peritos ou ao tempo limitado atribuído aos peritos. Ou os dados podem incluir repetições ocultas que fornecem valor mínimo ou nenhum valor ao processo de treinamento e não representam o domínio ou a tarefa inteiramente, o que pode fazer com que o modelo de IA resultante se ajuste demais.
É importante antecipar que os dados podem facilmente se tornar o gargalo do seu projeto, pois levam mais tempo para serem organizados. Pode até levar anos até que os dados estejam realmente prontos para IA.
Pergunta 4: Você tem especialistas suficientes disponíveis para treinar modelos de IA?
Os especialistas desempenham um papel importante na geração de dados e na determinação da qualidade dos dados. Por que? Porque ainda precisamos de humanos para gerar dados confiáveis que serão utilizados no processo de treinamento. Existem conjuntos de dados gerados sinteticamente, mas não são úteis a menos que sejam avaliados e qualificados por especialistas humanos.
Ao selecionar seu especialista, selecione alguém com profundo conhecimento do setor para ajustar seu modelo (um especialista interno ou terceirizado). Mais especificamente, você precisará de especialistas para rotular os dados, fornecer feedback sobre os dados, testar os dados e treinar novamente com base no feedback. Esta é uma parte importante do processo para obter resultados precisos e confiáveis com seu modelo de IA treinado.
Pergunta 5: Quais são as suas restrições de tempo?
Treinar um modelo interno de IA é um processo caro e demorado. O problema de negócios, a qualidade dos dados prontamente disponíveis e o número de especialistas e engenheiros de IA envolvidos impactam a duração e a qualidade do projeto. Como o processo depende de tentativa e erro, leva um tempo inerentemente mais longo até que a solução esteja pronta para uso.
Além dos problemas que podem surgir dos dados, existem outros desafios que podem surgir ao definir os hiperparâmetros do algoritmo de treinamento, como a taxa de aprendizagem, o número de épocas e o número de camadas. Este é o ponto em que os especialistas em IA podem precisar de uma reengenharia para resolver problemas de overfitting e de esquecimento catastrófico que ficarão aparentes nas fases de teste, o que pode custar mais tempo ao projeto.
Embora um processo cuidadosamente pensado reduza o estresse, sempre existe o risco de surgir uma nova solução LLM e tornar sua solução desatualizada. Isso se resume à especificidade e aos nichos do seu domínio. Procurar um equilíbrio entre tempo e qualidade, dado o rápido ritmo de desenvolvimento da tecnologia de IA.
Tal como acontece com muitas soluções inovadoras, não existe uma abordagem única para todos. Pesar suas opções em relação ao modelo certo para o seu negócio é o primeiro passo ao iniciar a jornada de IA da sua empresa. Para líderes empresariais, treinar um LLM do zero pode parecer assustador, mas se você tiver dados disponíveis e um “problema de negócios” específico de um domínio que um LLM genérico não resolverá, o investimento valerá a pena no longo prazo.
Gokcen Tapkan é diretor de pesquisa de dados da Black Kite.
–
Generative AI Insights oferece um local para líderes de tecnologia – incluindo fornecedores e outros colaboradores externos – explorarem e discutirem os desafios e oportunidades da inteligência artificial generativa. A seleção é ampla, desde aprofundamentos tecnológicos até estudos de caso e opiniões de especialistas, mas também subjetiva, com base em nosso julgamento de quais tópicos e tratamentos servirão melhor ao público tecnicamente sofisticado do InfoWorld. A InfoWorld não aceita material de marketing para publicação e reserva-se o direito de editar todo o conteúdo contribuído. Contato [email protected].
