Numa decisão judicial recente contra a Air Canada num tribunal de pequenas causas, a companhia aérea perdeu porque o seu chatbot alimentado por IA forneceu informações incorretas sobre tarifas de luto. O chatbot sugeriu que o passageiro pudesse solicitar retroativamente tarifas de luto, apesar da política de tarifas de luto da companhia aérea contradizer esta informação. Opa! É claro que o link para a política foi fornecido na resposta do chatbot; no entanto, o tribunal concluiu que a companhia aérea não explicou por que o passageiro não deveria confiar nas informações fornecidas pelo chatbot da empresa.

O caso chamou a atenção para a intersecção entre IA e responsabilidade legal e é uma ilustração convincente das potenciais implicações jurídicas e financeiras da desinformação e preconceito da IA.

A ponta do iceberg

Descobri que os humanos não gostam muito de IA – certamente quando surge uma resposta da qual eles podem discordar. Isto pode ser tão simples como o caso da Air Canada, que foi resolvido num tribunal de pequenas causas, ou tão grave como um preconceito sistémico num modelo de IA que nega benefícios a raças específicas.

No caso da Air Canada, o tribunal classificou-o como um caso de “deturpação negligente”, o que significa que a companhia aérea não tomou os cuidados razoáveis ​​para garantir a precisão do seu chatbot. A decisão tem implicações significativas, levantando questões sobre a responsabilidade das empresas pelo desempenho de sistemas alimentados por IA, que, caso viva debaixo de uma rocha, estão a aproximar-se rápida e furiosamente.

Além disso, este incidente destaca a vulnerabilidade das ferramentas de IA a imprecisões. Na maioria das vezes, isso é causado pela ingestão de dados de treinamento que contêm informações errôneas ou tendenciosas. Isso pode levar a resultados adversos para os clientes, que são muito bons em detectar esses problemas e informar a empresa.

O caso destaca a necessidade de as empresas reconsiderarem a extensão das capacidades da IA ​​e a sua potencial exposição jurídica e financeira à desinformação, o que causará más decisões e resultados dos sistemas de IA.

Revise o design do sistema de IA como se estivesse testemunhando em tribunal

Por que? Porque a probabilidade é que você esteja.

Digo isso aos meus alunos porque realmente acredito que muitas das chamadas de design e arquitetura envolvidas na construção e implantação de um sistema de IA generativo serão algum dia questionadas, seja em um tribunal ou por outros que estão tentando descobrir se algo estiver errado com o funcionamento do sistema de IA.

Eu regularmente me certifico de que minha bunda esteja coberta com dados de rastreamento e teste de registro, incluindo detecção de preconceito e quaisquer alucinações que possam ocorrer. Além disso, há um especialista em ética de IA na equipe para fazer as perguntas certas no momento certo e supervisionar os testes de preconceito e outras questões que podem levar você a ser levado a tribunal?

Apenas os sistemas genAI estão sujeitos ao escrutínio jurídico? Não, na verdade não. Há anos lidamos com responsabilidade de software; isso não é diferente. O que é diferente é a transparência. Os sistemas de IA não funcionam via código; eles funcionam por meio de modelos de conhecimento criados a partir de uma tonelada de dados. Ao encontrar padrões nestes dados, eles podem encontrar respostas semelhantes às humanas e continuar com o aprendizado contínuo.

Este processo permite que o sistema de IA se torne mais inovador, o que é bom. Mas também pode introduzir preconceitos e decisões erradas com base na ingestão de dados de treinamento ruins. É como um sistema que se reprograma a cada dia e apresenta diferentes abordagens e respostas baseadas nessa reprogramação. Às vezes funciona bem e agrega um valor enorme. Às vezes surge a resposta errada, como aconteceu com a Air Canada.

Como proteger você e sua organização

Primeiro, você precisa praticar o design defensivo. Documente cada etapa do processo de design e arquitetura, incluindo por que as tecnologias e plataformas foram selecionadas.

Além disso, é melhor documentar os testes, incluindo auditoria de preconceitos e erros. Não é uma questão de você encontrá-los; eles estão sempre lá. O que importa é a sua capacidade de removê-los dos modelos de conhecimento ou de grandes modelos de linguagem e de documentar esse processo, incluindo qualquer novo teste que precise ocorrer.

Claro, e mais importante, você precisa considerar o propósito do sistema de IA. O que é suposto fazer? Que questões precisam ser consideradas? Como evoluirá no futuro?

Vale a pena levantar a questão de saber se você deve usar IA em primeiro lugar. Há muitas complexidades em aproveitar a IA na nuvem ou no local, incluindo mais despesas e riscos. As empresas muitas vezes enfrentam problemas porque usam IA para os casos de uso errados e deveriam ter optado por uma tecnologia mais convencional.

Tudo isso não vai mantê-lo fora dos tribunais. Mas isso irá ajudá-lo se isso acontecer.