A Red Hat atualizou o Red Hat OpenShift AI, sua plataforma de IA e aprendizado de máquina baseada em nuvem, com um registro de modelo com recursos de versionamento e rastreamento de modelo, ferramentas de detecção de desvio de dados e detecção de polarização e recursos de ajuste fino LoRA (adaptação de classificação baixa). . Segurança mais forte também é oferecida, disse a Red Hat.
A versão 2.15 do Red Hat OpenShift AI estará disponível em meados de novembro. Os recursos destacados no lançamento incluem:
- Um registro de modelo, atualmente em estado de visualização de tecnologia, que fornece uma maneira estruturada de compartilhar, versionar, implantar e rastrear modelos, metadados e artefatos de modelo.
- Detecção de desvio de dados para monitorar mudanças nas distribuições de dados de entrada para modelos de ML implantados. Esse recurso permite que os cientistas de dados detectem quando os dados em tempo real usados para interferência do modelo se desviam significativamente dos dados nos quais o modelo foi treinado. A detecção de desvio ajuda a verificar a confiabilidade do modelo.
- Ferramentas de detecção de preconceito para ajudar cientistas de dados e engenheiros de IA a monitorar se os modelos são justos e imparciais. Essas ferramentas preditivas, da comunidade de código aberto TrustyAI, também monitoram modelos quanto à imparcialidade durante implantações no mundo real.
- Ajuste com LoRA, para permitir um ajuste mais eficiente de LLMs (grandes modelos de linguagem), como o Llama 3. Assim, as organizações podem dimensionar as cargas de trabalho de IA e, ao mesmo tempo, reduzir custos e consumo de recursos.
- Suporte para Nvidia NIM, um conjunto de microsserviços de interface para acelerar a entrega de aplicativos generativos de IA.
- Suporte para GPUs AMD e acesso a uma imagem de ambiente de trabalho AMD ROCm para usar GPUs AMD para desenvolvimento de modelo.
O Red Hat OpenShift AI também adiciona recursos para servir modelos de IA generativos, incluindo o tempo de execução de serviço vLLM para KServe, uma plataforma de inferência de modelo baseada em Kubernetes. Também foi adicionado suporte para KServe Modelcars, que adiciona repositórios Open Container Initiative (OCI) como uma opção para armazenar e acessar versões de modelos. Além disso, a seleção de rotas privadas/públicas para endpoints no KServe permite que as organizações melhorem a postura de segurança de um modelo, direcionando-o especificamente para endpoints internos quando necessário.
