A empresa testou o Codestral Mamba em recursos de recuperação em contexto de até 256 mil tokens — o dobro do número visto no GPT4o da OpenAI — e descobriu que sua versão 7B teve melhor desempenho do que modelos de código aberto em vários testes de benchmarking, como HumanEval, MBPP, Spider e CruxE.
A versão maior de 22B parâmetros do novo modelo também teve um desempenho significativamente melhor que o CodeLlama-34B, com exceção do benchmark CruxE.
Enquanto a versão 7B está disponível sob a licença Apache 2.0, a versão maior 22B está disponível sob uma licença comercial para autoimplantação ou licença comunitária para fins de teste.