Em setores com uso intensivo de dados, aumentar a janela de contexto corre o risco de ser contraproducente. Embora os modelos possam ser capazes de processar mais informações, mais dados aumentam os custos mais rapidamente do que os preços dos tokens podem cair. Mas um modelo de raciocínio não deveria ter que ler todos os pontos de dados para raciocinar sobre os dados, ou reprocessar o mesmo conjunto de dados subjacente sempre que uma nova pergunta é feita.
Contexto maior não é o mesmo que arquitetura melhor
Imagine um trader analisando 10 anos de dados de mercado ou um cientista trabalhando em milhões de observações genômicas. Uma abordagem é colocar os dados subjacentes dentro do contexto do modelo e deixá-los trabalhar diretamente em tudo. Tecnicamente, isto pode funcionar, mas arquitectonicamente, significa que um sistema de raciocínio dispendioso tem de processar enormes quantidades de informação antes de poder começar a compreender a questão, determinar a análise apropriada e interpretar o resultado.
Mas um analista quantitativo não lê manualmente centenas de milhares de observações e faz a aritmética à mão. Eles decidem o que precisa ser calculado, entregam-no a uma ferramenta computacional e raciocinam com o que retorna.
