A nuvem é a maneira mais fácil de construir sistemas generativos de IA; é por isso que as receitas da nuvem estão disparando. No entanto, muitos desses sistemas possuem engenharia excessiva, o que gera complexidade e custos desnecessários. A superengenharia é um problema familiar. Há muitos anos que pensamos e construímos excessivamente sistemas, dispositivos, máquinas, veículos, etc. Por que a nuvem seria diferente?

Overengineering é projetar um produto ou solução desnecessariamente complexo incorporando recursos ou funcionalidades que não agregam valor substancial. Essa prática leva ao uso ineficiente de tempo, dinheiro e materiais e pode levar à diminuição da produtividade, custos mais altos e resiliência reduzida do sistema.

A superengenharia de qualquer sistema, seja IA ou nuvem, acontece por meio do fácil acesso aos recursos e da ausência de limitações no uso desses recursos. É fácil encontrar e alocar serviços em nuvem, por isso é tentador para um designer ou engenheiro de IA adicionar coisas que podem ser vistas como “bom ter” mais do que “necessário”. Tomar várias dessas decisões leva a muito mais bancos de dados, camadas de middleware, sistemas de segurança e sistemas de governança do que o necessário.

A facilidade com que as empresas podem acessar e fornecer serviços de nuvem se tornou uma bênção e uma maldição. Ferramentas avançadas baseadas em nuvem simplificam a implantação de sistemas de IA sofisticados, mas também abrem a porta para a engenharia excessiva. Se os engenheiros tivessem que passar por um processo de aquisição, incluindo a compra de hardware especializado para serviços específicos de computação ou armazenamento, é provável que eles fossem mais contidos do que quando basta um simples clique do mouse.

Os perigos do provisionamento fácil

As plataformas de nuvem pública apresentam uma impressionante variedade de serviços projetados para atender a todas as necessidades possíveis de IA generativa. Desde armazenamento e processamento de dados até modelos e análises de aprendizado de máquina, essas plataformas oferecem uma combinação atraente de recursos. Na verdade, observe a lista recomendada de algumas dezenas de serviços que os provedores de nuvem consideram “necessários” para projetar, construir e implantar um sistema generativo de IA. Claro, lembre-se de que a empresa que cria a lista também vende os serviços.

As GPUs são o melhor exemplo disso. Muitas vezes vejo serviços de computação configurados por GPU adicionados a uma arquitetura generativa de IA. No entanto, as GPUs não são necessárias para cálculos do tipo “parte traseira do guardanapo”, e os sistemas alimentados por CPU funcionam muito bem por um pouco do custo.

Por alguma razão, o crescimento explosivo de empresas que constroem e vendem GPUs faz com que muitas pessoas acreditem que GPUs são um requisito, e elas não são. GPUs são necessárias quando processadores especializados são indicados para um problema específico. Esse tipo de superengenharia custa mais às empresas do que outros erros de superengenharia. Infelizmente, recomendar que sua empresa se abstenha de usar processadores de ponta e mais caros geralmente o desconvidará para reuniões de arquitetura subsequentes.

Manter um orçamento

Os custos crescentes estão diretamente vinculados à complexidade em camadas e aos serviços de nuvem adicionais, que geralmente são incluídos por impulso de meticulosidade ou preparação para o futuro. Quando recomendo que uma empresa use menos recursos ou recursos menos caros, geralmente sou recebido com: “Precisamos levar em conta o crescimento futuro”, mas isso geralmente pode ser resolvido ajustando a arquitetura conforme ela evolui. Isso nunca deve significar jogar dinheiro nos problemas desde o início.

Essa tendência de incluir muitos serviços também amplifica a dívida técnica. Manter e atualizar sistemas complexos se torna cada vez mais difícil e custoso. Se os dados forem fragmentados e isolados em vários serviços de nuvem, isso pode agravar ainda mais esses problemas, tornando a integração e a otimização de dados uma tarefa assustadora. As empresas geralmente se encontram presas em um ciclo em que suas soluções de IA generativas não são apenas superprojetadas, mas também precisam ser mais otimizadas, levando a retornos reduzidos sobre o investimento.

Estratégias para mitigar o excesso de engenharia

É necessária uma abordagem disciplinada para evitar essas armadilhas. Aqui estão algumas estratégias que uso:

  • Priorize as necessidades principais. Concentre-se nas funcionalidades essenciais necessárias para atingir seus objetivos primários. Resista à tentação de inflá-los.
  • Planeje e avalie cuidadosamente. Invista tempo na fase de planejamento para determinar quais serviços são essenciais.
  • Comece pequeno e aumente gradualmente. Comece com um produto mínimo viável (MVP) com foco nas funcionalidades principais.
  • Monte uma excelente equipe de arquitetura generativa de IA. Escolha engenheiros de IA, cientistas de dados, especialistas em segurança de IA, etc., que compartilhem a abordagem para aproveitar o que é necessário, mas sem exageros. Você pode enviar os mesmos problemas para duas equipes diferentes de arquitetura generativa de IA e obter planos com custos diferentes em US$ 10 milhões. Qual deles errou? Normalmente, a equipe procura gastar mais.

O poder e a flexibilidade das plataformas de nuvem pública são o motivo pelo qual alavancamos a nuvem em primeiro lugar, mas é preciso cautela para evitar a armadilha de sistemas de IA generativa com excesso de engenharia. Planejamento cuidadoso, seleção criteriosa de serviços e otimização contínua são essenciais para construir soluções de IA com boa relação custo-benefício. Ao aderir a esses princípios, as empresas podem aproveitar todo o potencial da IA ​​generativa sem cair nas complexidades e custos de um sistema com excesso de engenharia.