“Por exemplo, você pode pedir para esses LLMs criarem código e eles às vezes criam uma estrutura, ou uma biblioteca ou módulo imaginário, para fazer o que você quer que ele faça”, disse Taulli, explicando que os LLMs não estavam criando uma nova estrutura, mas fingindo que a criaram, mas na verdade não o fizeram.
Esse é o tipo de comportamento que a codificação LLM fará e que quase nenhum programador humano sequer consideraria fazer, ele observou, acrescentando: “a menos que (o codificador humano) seja louco, ele não vai inventar, criar do nada, uma biblioteca ou módulo imaginário”.
Quando isso acontece, pode ser fácil de detectar, se alguém procurar. “Se eu tentar instalar o pip, você pode descobrir que não há nada lá. Se ele alucinar, o IDE e o compilador dão um erro”, disse Taulli.
