Há um ano, a maioria dos sistemas empresariais de IA gerava recomendações. Hoje, os sistemas de IA aprovam transações, encaminham remessas, atualizam registros, interagem com clientes e acionam ações de software downstream com pouco ou nenhum envolvimento humano.
Para os CIOs, essa mudança altera a questão central da governança. O desafio não é mais simplesmente saber se um modelo de IA é preciso. É se a organização consegue explicar, auditar e defender as decisões que o sistema toma.
Quando um assistente de IA sugere um horário de reunião ou resume um documento, os erros são inconvenientes. Quando um sistema autônomo de IA emite um reembolso, reavalia um produto, modifica um registro de cliente ou inicia uma transação financeira, os erros acarretam consequências operacionais, legais e de reputação.
Quando essas consequências chegam, “o modelo decidiu” não é uma explicação aceitável.
Esta é a lacuna de responsabilização que emerge no centro da adoção da IA pelas empresas. As organizações estão a implementar sistemas cada vez mais autónomos, ao mesmo tempo que dependem de tecnologia que muitas vezes proporciona pouca visibilidade sobre a forma como as decisões são tomadas. O resultado é um descompasso crescente entre o nível de autoridade que as organizações concedem à IA e a sua capacidade de compreender ou justificar as suas ações.
A IA de caixa preta pode ter sido aceitável quando a IA gerava principalmente previsões. Torna-se muito mais problemático quando a IA começa a agir em nome da empresa.
A lição que o software já aprendeu
Felizmente, a indústria tecnológica já enfrentou um desafio semelhante antes.
À medida que os sistemas de software corporativo se tornaram mais distribuídos e complexos, a solução de falhas tornou-se cada vez mais difícil. Os engenheiros não podiam mais confiar na intuição para entender o que acontecia quando algo quebrava. A solução foi a observabilidade: a prática de instrumentar sistemas para que seu estado interno pudesse ser entendido por meio de logs, métricas, rastreamentos e monitoramento.
O objetivo não era prever antecipadamente todas as falhas possíveis. O objetivo era criar visibilidade suficiente para que as equipes pudessem reconstruir o que aconteceu após o fato e identificar a causa raiz.
A IA empresarial agora exige uma disciplina semelhante.
Mas a observabilidade da IA deve ir além da observabilidade tradicional do software. Não é suficiente saber que ação ocorreu. As organizações também precisam de visibilidade sobre por que o sistema acreditou que a ação era apropriada.
Um sistema de IA auditável deve ser capaz de responder a perguntas como:
- Em quais informações o sistema se baseou?
- Quais ferramentas ou fontes de dados ele acessou?
- Que alternativas considerou?
- Quais etapas de verificação foram realizadas?
- Quão confiante estava em sua conclusão?
- Que eventos levaram à ação final?
Estas questões estão rapidamente a tornar-se requisitos operacionais essenciais, em vez de requisitos técnicos interessantes.
Por que a visibilidade é mais importante à medida que a IA ganha autonomia
À medida que os sistemas de IA se tornam mais autónomos, as falhas tornam-se mais difíceis de detetar e diagnosticar.
Um ser humano que analisa uma única recomendação gerada por IA muitas vezes pode detectar erros óbvios. Uma rede de agentes de IA que coordenam múltiplas tarefas em processos de negócios apresenta um desafio diferente. As decisões podem ser baseadas umas nas outras. Uma suposição errada no início de um fluxo de trabalho pode se propagar através de ações subsequentes, criando resultados confiáveis, mas incorretos.
O desafio raramente é identificar que algo deu errado. Eventualmente, um erro surge através de uma reclamação de um cliente, uma transação falhada, uma descoberta de auditoria ou uma interrupção operacional.
O desafio é determinar por que isso aconteceu.
Quais informações influenciaram a decisão? Quais ferramentas foram consultadas? Quais salvaguardas funcionaram conforme planejado? Quais falharam?
Sem visibilidade do processo de raciocínio, solucionar problemas de fluxos de trabalho autônomos de IA pode se tornar significativamente mais difícil do que depurar sistemas de software tradicionais.
Para os CIOs responsáveis pela confiabilidade, conformidade e governança corporativa, essa falta de visibilidade cria riscos operacionais inaceitáveis.
Movendo-se em direção à IA de caixa de vidro
A resposta não é retardar a adoção da IA. A resposta é tornar os sistemas de IA observáveis.
Cada vez mais, as organizações procuram sistemas de IA que se comportem mais como uma caixa de vidro do que como uma caixa preta. O objetivo não é expor todos os parâmetros dentro de uma rede neural. Em vez disso, pretende fornecer um registo claro e auditável de como as decisões foram tomadas e por que razão foram tomadas medidas.
As abordagens mais promissoras partilham duas características comuns.
O primeiro é a verificação. Em vez de tratar a saída de um único modelo como verdade, os sistemas incorporam etapas de validação independentes antes que as ações sejam executadas. Vários agentes, verificações externas, regras de negócios ou fluxos de trabalho de verificação ajudam a identificar erros antes que se tornem incidentes operacionais.
A segunda é a explicabilidade. Sistemas eficazes mantêm uma trilha de decisão que captura entradas, etapas intermediárias de raciocínio, uso de ferramentas, atividades de verificação e resultados de uma forma que os revisores humanos possam compreender.
Juntas, estas capacidades criam algo que há muito é esperado dos decisores humanos, mas que muitas vezes falta nos sistemas de IA: a capacidade de mostrar o seu trabalho.
A realidade regulatória e empresarial
O impulso em direção à observabilidade da IA não está sendo conduzido apenas por tecnólogos.
Os reguladores esperam cada vez mais que as organizações demonstrem supervisão dos sistemas automatizados de tomada de decisão. Os quadros emergentes de governação da IA colocam uma ênfase crescente na transparência, rastreabilidade, responsabilização e supervisão humana.
Os clientes estão caminhando na mesma direção. Quer a decisão envolva preços, serviços, elegibilidade ou suporte, as pessoas desejam cada vez mais a capacidade de compreender e desafiar os resultados que as afetam.
O resultado é uma convergência de pressões operacionais, regulamentares e de mercado em torno de um único requisito: as organizações devem ser capazes de explicar o que os seus sistemas de IA estão a fazer.
Três perguntas que todo CIO deveria fazer
Antes de implementar sistemas de IA autónomos, os líderes tecnológicos devem ser capazes de responder a três questões básicas:
- Podemos reconstruir o caminho de decisão completo que levou a uma ação?
- Podemos verificar os resultados críticos antes que as ações sejam executadas?
- Um auditor humano pode entender por que a decisão ocorreu?
Se a resposta a qualquer uma dessas perguntas for não, a organização pode estar concedendo mais autoridade à IA do que ela pode governar com responsabilidade.
A responsabilidade se tornará uma vantagem competitiva
As organizações que terão sucesso com a IA autónoma não serão necessariamente aquelas que automatizam a maioria dos processos ou implementam os maiores modelos. Serão as organizações que combinam automação com responsabilidade.
Os sistemas de caixa preta faziam sentido quando a IA gerava principalmente previsões. À medida que a IA atua cada vez mais em nome de empresas, clientes e funcionários, a visibilidade torna-se essencial.
O futuro da IA empresarial não pertencerá a sistemas que apenas atuem, mas a sistemas cujas ações possam ser examinadas, compreendidas e confiáveis.
–
Fórum de Nova Tecnologia oferece um local para líderes de tecnologia — incluindo fornecedores e outros colaboradores externos — explorarem e discutirem tecnologias empresariais emergentes com profundidade e amplitude sem precedentes. A seleção é subjetiva, baseada na escolha das tecnologias que acreditamos serem importantes e de maior interesse para os leitores do InfoWorld. A InfoWorld não aceita material de marketing para publicação e reserva-se o direito de editar todo o conteúdo contribuído. Enviar tudo consultas para [email protected].
