O provedor de data lakehouse Databricks lançou uma família de modelos de linguagem grande (LLM) de código aberto, DBRX, que afirma superar o GPT 3.5 da OpenAI e modelos de código aberto como Mixtral, Claude 3, Llama 2 e Grok-1 em benchmarking padrão testes.
O DBRX pode ser baixado gratuitamente no GitHub e no Hugging Face para pesquisa ou uso comercial.
Isto proporciona às empresas a oportunidade de não só reduzirem o custo de desenvolvimento de casos de utilização generativos de IA com os seus próprios dados empresariais, sem serem restringidas por restrições impostas por fornecedores de modelos fechados, como o OpenAI, à utilização comercial.
A estratégia para lançar o DBRX remonta a abril do ano passado, quando a empresa lançou seu primeiro LLM de código aberto, Dolly 2.0, para mostrar que as empresas tinham alternativas a modelos como GPT 3.5 e GPT-4.
O DBRX é compatível com AWS, Google Cloud e Microsoft Azure por meio do Azure Databricks, para que as empresas possam baixar o modelo e executá-lo em unidades de processamento gráfico (GPUs) onde desejarem.
Alternativamente, as empresas também podem optar por assinar o DBRX e ferramentas adicionais, como geração aumentada de recuperação (RAG), para personalizar o LLM por meio da oferta Mosaic AI Model Serving da Databricks.
O Mosaic AI Model Serving se conecta ao DBRX por meio do que a empresa chama de APIs Foundation Model, que permite que as empresas acessem e consultem LLMs a partir de um endpoint de serviço.
As APIs do Foundation Model são fornecidas em dois modos de preços: pagamento por token e taxa de transferência provisionada.
Embora o pagamento por token seja cobrado com base em solicitações simultâneas, a taxa de transferência é cobrada por instância de GPU por hora. Ambas as taxas, incluindo o custo da instância em nuvem, começam em US$ 0,070 por unidade de Databricks.
A empresa também oferece uma faixa de preços para diferentes configurações de GPU.
Como parte do lançamento do LLM, a Databricks lançou dois modelos sob licença aberta com certas restrições: DBRX Base, um modelo básico pré-treinado, e DBRX Instruct, uma versão ajustada para interações de poucas voltas.
Espera-se também que o DBRX esteja disponível através do Catálogo de APIs da Nvidia e apoiado no Nvidia NIM microsserviço de inferência.
Embora o DBRX supere a maioria dos modelos disponíveis hoje, de acordo com os testes da Databricks, o GPT-4 da OpenAI o deixa para trás na maioria dos benchmarks.
