Monitore a qualidade do modelo e a integridade do endpoint

Mosaic AI Model Serving fornece ferramentas avançadas para monitorar a qualidade e a integridade dos modelos e suas implantações. A tabela a seguir é uma visão geral de cada ferramenta de monitoramento disponível.

Ferramenta

Descrição

Propósito

Acesso

Logs de serviço

Captura stdout e stderr transmissão do endpoint do modelo de operação.

Útil para depuração durante a implantação do modelo. Use print(..., flush=true) para exibição imediata nos logs.

Acessível usando a na IU do logs tab Serving. Os logs são transmitidos em tempo real e podem ser exportados através da API.

Logs de compilação

Exibe a saída do processo que cria automaticamente um ambiente Python pronto para produção para o endpoint do modelo instalado.

Útil para diagnosticar problemas de implantação e dependência de modelo.

Disponível após a conclusão do build do modelo de atividades em Build logs logs tabna . Os logs podem ser exportados por meio da API.

Medições de integridade do endpoint

Fornece percepções sobre métricas de infraestrutura como latência, taxa de solicitação, taxa de erros, uso de CPU e uso de memória.

Importante para compreender o desempenho e a integridade da infraestrutura de serviço.

Disponível por default na IU de exibição nos últimos 14 dias. Os dados também podem ser transmitidos para ferramentas de observabilidade em tempo real.

Tabelas de inferência

Automaticamente logs solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para modelos personalizados.

Utilize esta ferramenta para monitoramento e depuração da qualidade ou respostas do modelo, gerando conjuntos de dados de treinamento ou conduzindo auditorias compliance .

Pode ser ativado para endpoints novos e existentes usando um único clique na interface do usuário do Serving ou programaticamente usando o Serving APIs.

Tabelas de inferência habilitadas para AI Gateway

logs automaticamente as solicitações e respostas de previsão on-line em Delta tabelas gerenciadas por Unity Catalog para endpoints que atendem a modelos externos ou cargas de trabalho de Taxa de transferência de provisionamento.

Utilize esta ferramenta para monitoramento e depuração da qualidade ou respostas do modelo, gerando conjuntos de dados de treinamento ou conduzindo auditorias compliance .

O senhor pode ativar o endpoint existente e o novo modelo de serviço ao ativar o recurso AI Gateway usando a UI de serviço ou REST API.