Métricas para monitoramento do Amazon SageMaker com o Amazon CloudWatch - Amazon SageMaker

Métricas para monitoramento do Amazon SageMaker com o Amazon CloudWatch

Você pode monitorar o Amazon SageMaker usando o Amazon CloudWatch, que coleta dados brutos e os processa em métricas legíveis quase em tempo real. Essas estatísticas são mantidas por 15 meses. Você pode acessar as informações históricas e ter uma perspectiva melhor sobre o desempenho da aplicação Web ou do serviço. No entanto, o console do Amazon CloudWatch limita a pesquisa a métricas atualizadas nas últimas duas semanas. Essa limitação garante que os trabalhos mais atuais sejam mostrados em seu namespace.

Para representar graficamente as métricas sem usar uma pesquisa, especifique seu nome exato na exibição de origem. Você também pode definir alarmes que observam determinados limites e enviam notificações ou realizam ações quando esses limites são atingidos. Para mais informações, consulte o Guia do usuário do Amazon CloudWatch.

métricas de invocação do endpoint SageMaker

O namespace AWS/SageMaker inclui as seguintes métricas de solicitação de chamadas para InvokeEndpoint:

As métricas estão disponíveis a uma frequência de 1 minuto.

A ilustração a seguir mostra como um endpoint do SageMaker interage com a API Amazon SageMaker Runtime. O tempo total entre o envio de uma solicitação para um endpoint e o recebimento de uma resposta depende dos três componentes a seguir.

  • Latência de rede: o tempo necessário entre fazer uma solicitação e receber uma resposta da API runtime do SageMaker Runtime.

  • Latência de sobrecarga: o tempo necessário para transportar uma solicitação do contêiner do modelo e transportar a resposta de volta para a API runtime do SageMaker Runtime.

  • Latência do modelo: o tempo que o contêiner do modelo leva para processar a solicitação e retornar uma resposta.

Uma ilustração mostrando que a latência total é a soma das latências da rede, da sobrecarga e do modelo.

Para obter mais informações sobre a latência total, consulte Melhores práticas para testar a carga dos endpoints de inferência em tempo real do Amazon SageMaker. Para obter informações sobre por quanto tempo as métricas do CloudWatch são retidas, consulte GetMetricStatistics na Referência da API do Amazon CloudWatch.

Métricas de invocação de endpoint

Métrica Descrição
ConcurrentRequestsPerCopy

O número de solicitações simultâneas sendo recebidas pelo componente de inferência, normalizado por cada cópia de um componente de inferência.

Estatísticas válidas: Min, Max

ConcurrentRequestsPerModel

O número de solicitações simultâneas sendo recebidas pelo modelo.

Estatísticas válidas: Min, Max

Invocation4XXErrors

O número de solicitações InvokeEndpoint em que o modelo retornou um código de resposta HTTP 4xx. Para cada resposta 4xx, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

Invocation5XXErrors

O número de solicitações InvokeEndpoint em que o modelo retornou um código de resposta HTTP 5xx. Para cada resposta 5xx, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

InvocationModelErrors

O número de solicitações de invocação do modelo que não resultaram em uma resposta HTTP 2XX. Isso inclui códigos de status 4XX/5XX, erros de soquete de baixo nível, respostas HTTP malformadas e tempos limite de solicitação. Para cada resposta de erro, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

Invocations

O número de solicitações InvokeEndpoint enviadas para um endpoint de modelo.

Para obter o número total de solicitações enviadas a um endpoint de modelo, use a estatística Sum.

Unidades: nenhuma

Estatística válida: soma

InvocationsPerCopy

O número de invocações normalizadas por cada cópia de um componente de inferência.

Estatística válida: soma

InvocationsPerInstance

O número de invocações enviadas para um modelo, normalizado por InstanceCount em cada ProductionVariant. 1/numberOfInstances é enviado como o valor de cada solicitação. numberOfInstances é o número de instâncias ativas da ProductionVariant por trás do endpoint no momento da solicitação.

Unidades: nenhuma

Estatística válida: soma

ModelLatency

O intervalo de tempo gasto por um modelo para responder a uma solicitação da API SageMaker Runtime. Esse intervalo inclui os tempos de comunicação locais necessários para enviar a solicitação e buscar a resposta de um contêiner modelo. Inclui também o tempo necessário para concluir a inferência no contêiner.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

ModelSetupTime

O tempo necessário para lançar novos recursos computacionais para um endpoint com tecnologia sem servidor. O tempo pode variar dependendo do tamanho do modelo, do tempo necessário para baixar o modelo e do tempo de inicialização do contêiner.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras, porcentagens

OverheadLatency

O intervalo de tempo adicionado ao tempo gasto para responder a uma solicitação do cliente por sobrecargas do SageMaker. Este intervalo é medido a partir do momento em que o SageMaker recebe a solicitação até ele retornar uma resposta ao cliente, menos a ModelLatency. A latência de sobrecarga pode variar dependendo de vários fatores, incluindo tamanhos de carga útil de solicitações e respostas, frequência de solicitações e autenticação/autorização da solicitação.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

Dimensões para métricas de invocação de endpoint

Dimensão Descrição
EndpointName, VariantName

Filtra as métricas de invocação de endpoint para uma ProductionVariant do endpoint e da variante especificados.

InferenceComponentName

Filtra métricas de invocação do componente de inferência.

Métricas do componente de inferência do SageMaker

O namespace /aws/sagemaker/InferenceComponents inclui as seguintes métricas de chamadas de InvokeEndpoint para endpoints de componentes de inferência do host:

As métricas estão disponíveis a uma frequência de 1 minuto.

Métrica Descrição
CPUUtilizationNormalized

O valor da métrica CPUUtilizationNormalized relatada por cada cópia do componente de inferência. O valor varia de 0% a 100%. Se você definir o parâmetro NumberOfCpuCoresRequired nas configurações em cópia do componente de inferência, a métrica apresentará a utilização da reserva. Caso contrário, a métrica apresenta a utilização acima do limite.

GPUMemoryUtilizationNormalized

O valor da métrica GPUMemoryUtilizationNormalized relatada por cada cópia do componente de inferência.

GPUUtilizationNormalized

O valor da métrica GPUUtilizationNormalized relatada por cada cópia do componente de inferência. Se você definir o parâmetro NumberOfAcceleratorDevicesRequired nas configurações em cópia do componente de inferência, a métrica apresentará a utilização da reserva. Caso contrário, a métrica apresenta a utilização acima do limite.

MemoryUtilizationNormalized

O valor de MemoryUtilizationNormalized relatado por cada cópia do componente de inferência. Se você definir o parâmetro MinMemoryRequiredInMb nas configurações para a cópia do componente de inferência, as métricas apresentarão a utilização da reserva. Caso contrário, as métricas apresentam a utilização acima do limite.

Dimensões para métricas de componentes de inferência

Dimensão Descrição
InferenceComponentName

Filtra as métricas dos componentes de inferência.

Métricas de endpoint multimodelo do SageMaker

O namespace AWS/SageMaker inclui as seguintes métricas de carregamento de modelo em chamadas para InvokeEndpoint:

As métricas estão disponíveis a uma frequência de 1 minuto.

Para obter informações sobre por quanto tempo as métricas do CloudWatch são retidas, consulte GetMetricStatistics na Referência da API do Amazon CloudWatch.

Métricas de carregamento de modelos de endpoint multimodelo

Métrica Descrição
ModelLoadingWaitTime

O intervalo de tempo em que uma solicitação de invocação esperou o modelo de destino ser baixado, carregado, ou ambos para realizar a inferência.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

ModelUnloadingTime

O intervalo de tempo necessário para descarregar o modelo por meio da chamada de API UnloadModel do contêiner.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

ModelDownloadingTime

O intervalo de tempo necessário para baixar o modelo do Amazon Simple Storage Service (Amazon S3).

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

ModelLoadingTime

O intervalo de tempo necessário para carregar o modelo com a chamada de API LoadModel do contêiner.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

ModelCacheHit

O número de solicitações InvokeEndpoint enviadas para o endpoint multimodelo para o qual o modelo já foi carregado.

A estatística Média mostra a proporção de solicitações para as quais o modelo já foi carregado.

Unidades: nenhuma

Estatísticas válidas: média, soma, contagem de amostras

Dimensões para métricas de carregamento de modelos de endpoint multimodelo

Dimensão Descrição
EndpointName, VariantName

Filtra as métricas de invocação de endpoint para uma ProductionVariant do endpoint e da variante especificados.

Os namespaces /aws/sagemaker/Endpoints incluem as seguintes métricas de instância em chamadas para InvokeEndpoint:

As métricas estão disponíveis a uma frequência de 1 minuto.

Para obter informações sobre por quanto tempo as métricas do CloudWatch são retidas, consulte GetMetricStatistics na Referência da API do Amazon CloudWatch.

Métricas de instâncias de modelos para endpoint multimodelo

Métrica Descrição
LoadedModelCount

O número de modelos carregados nos contêineres do endpoint multimodelo. Esta métrica é emitida para cada instância.

A estatística Média com um período de 1 minuto informa o número médio de modelos carregados por instância.

A estatística Soma informa o número total de modelos carregados em todas as instâncias no endpoint.

Os modelos que essa métrica rastreia não são necessariamente exclusivos, porque um modelo pode ser carregado em vários contêineres no endpoint.

Unidades: nenhuma

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

Dimensões para métricas de carregamento de modelos de endpoint multimodelo

Dimensão Descrição
EndpointName, VariantName

Filtra as métricas de invocação de endpoint para uma ProductionVariant do endpoint e da variante especificados.

Métricas de trabalhos e endpoints do SageMaker

Os namespaces /aws/sagemaker/ProcessingJobs, /aws/sagemaker/TrainingJobs, /aws/sagemaker/TransformJobs e /aws/sagemaker/Endpoints incluem as seguintes métricas para trabalhos de treinamento e instâncias de endpoint:

As métricas estão disponíveis a uma frequência de 1 minuto.

nota

O Amazon CloudWatch oferece apoio a métricas personalizadas de alta resolução e sua melhor resolução é de 1 segundo. No entanto, quanto melhor a resolução, menor a vida útil das métricas do CloudWatch. Para a resolução de frequência de 1 segundo, as métricas do CloudWatch ficam disponíveis por 3 horas. Para obter mais informações sobre a resolução e a vida útil das métricas do CloudWatch, consulte GetMetricStatistics na Amazon CloudWatch API Reference.

dica

Para fazer o perfil do seu trabalho de treinamento com uma resolução mais precisa de até 100 milissegundos (0,1 segundo) de granularidade e armazenar as métricas de treinamento indefinidamente no Amazon S3 para uma análise personalizada a qualquer momento, considere usar o Amazon SageMaker Debugger. O SageMaker Debugger fornece regras incorporadas para detecção automática de problemas comuns de treinamento. Detecta problemas de utilização de recursos de hardware (como gargalos de CPU, GPU e E/S). Detecta também problemas de modelo não convergentes (como sobreajuste, gradientes que desaparecem e tensores explosivos). O SageMaker Debugger também fornece visualizações por meio do Studio Classic e de seu relatório de criação de perfil. Para explorar as visualizações do Debugger, consulte Passo a passo do SageMaker Debugger, Passo a passo do relatório de perfilamento do depurador e Como analisar dados usando a biblioteca de cliente do SMDebug.

Processing Job, Training Job, Batch Transform Job, and Endpoint Instance Metrics (Métricas de trabalho de processamento, trabalho de treinamento, trabalho de transformação em lote e instância de endpoint)

Métrica Descrição
CPUReservation

A soma das CPUs reservadas pelos contêineres em uma instância. O valor varia de 0% a 100%. Nas configurações de um componente de inferência, você define a reserva de CPU com o parâmetro NumberOfCpuCoresRequired. Por exemplo, se houver 4 CPUs e 2 estiverem reservadas, a métrica CPUReservation será 50%.

CPUUtilization A soma da utilização de cada núcleo de CPU individual. A utilização da CPU de cada faixa de núcleo é de 0 a 100. Por exemplo, se houver quatro CPUs, o intervalo de CPUUtilization é de 0% a 400%. Para trabalhos de processamento, o valor é a utilização da CPU do contêiner de processamento na instância.

Para trabalhos de treinamento, o valor é a utilização de CPU do contêiner de algoritmo na instância.

Para trabalhos de transformação em lote, o valor é a utilização da CPU do contêiner de transformação na instância.

Para variantes de endpoint, o valor é a soma da utilização de CPU dos contêineres principais e complementares na instância.

nota

Para trabalhos de múltiplas instâncias, cada instância relata métricas de utilização da CPU. No entanto, a visualização padrão no CloudWatch mostra a média de utilização da CPU em todas as instâncias.

Unidades: percentual

CPUUtilizationNormalized

A soma normalizada da utilização de cada núcleo de CPU individual. O valor varia de 0% a 100%. Por exemplo, se houver quatro CPUs e a métrica CPUUtilization for 200%, a métrica CPUUtilizationNormalized será 50%.

DiskUtilization

A porcentagem de espaço em disco usada pelos contêineres em uma instância. Esse intervalo de valores é de 0% a 100%. Essa métrica não oferece apoio para trabalhos de transformação em lote.

Para trabalhos de processamento, o valor é a utilização do espaço em disco do contêiner de processamento na instância.

Para trabalhos de treinamento, o valor é a utilização do espaço em disco do contêiner de algoritmo na instância.

Para variantes de endpoint, o valor é a soma da utilização do espaço em disco dos contêineres primário e complementar na instância.

Unidades: percentual

nota

Para trabalhos de múltiplas instâncias, cada instância relata métricas de utilização do disco. No entanto, a visualização padrão no CloudWatch mostra a utilização média do disco em todas as instâncias.

GPUMemoryUtilization

O percentual de memória de GPU usada pelos contêineres em uma instância. O intervalo de valores é de 0 a 100 e é multiplicado pelo número de GPUs. Por exemplo, se houver quatro GPUs, o intervalo de GPUMemoryUtilization é de 0% a 400%.

Para trabalhos de processamento, o valor é a utilização da memória de GPU do contêiner de processamento na instância.

Para trabalhos de treinamento, o valor é a utilização de memória de GPU do contêiner de algoritmo na instância.

Para trabalhos de transformação em lote, o valor é a utilização de memória da GPU do contêiner de transformação na instância.

Para variantes de endpoint, o valor é a soma da utilização de memória de GPU dos contêineres principais e complementares na instância.

nota

Para trabalhos de múltiplas instâncias, cada instância relata métricas de utilização de memória da GPU. No entanto, a visualização padrão no CloudWatch mostra a média de utilização da memória de GPU em todas as instâncias.

Unidades: percentual

GPUMemoryUtilizationNormalized

O percentual normalizado de memória de GPU usada pelos contêineres em uma instância. O valor varia de 0% a 100%. Por exemplo, se houver quatro GPUs e a métrica GPUMemoryUtilization for 200%, a métrica GPUMemoryUtilizationNormalized será 50%.

GPUReservation

A soma das GPUs reservadas pelos contêineres em uma instância. O valor varia de 0% a 100%. Nas configurações de um componente de inferência, você define a reserva da GPU por NumberOfAcceleratorDevicesRequired. Por exemplo, se houver 4 GPUs e 2 estiverem reservadas, a métrica GPUReservation será 50%.

GPUUtilization

O percentual de unidades de GPU usadas pelos contêineres em uma instância. O intervalo de valores é de 0 a 100 e é multiplicado pelo número de GPUs. Por exemplo, se houver quatro GPUs, o intervalo de GPUUtilization é de 0% a 400%.

Para trabalhos de processamento, o valor é a utilização da GPU do contêiner de processamento na instância.

Para trabalhos de treinamento, o valor é a soma da utilização de GPU do contêiner de algoritmo na instância.

Para trabalhos de transformação em lote, o valor é a utilização da GPU do contêiner de transformação na instância.

Para variantes de endpoint, o valor é a soma da utilização de GPU dos contêineres principais e complementares na instância.

nota

Para trabalhos de múltiplas instâncias, cada instância relata métricas de utilização da GPU. No entanto, a visualização padrão no CloudWatch mostra a utilização média da GPU em todas as instâncias.

Unidades: percentual

GPUUtilizationNormalized

O percentual normalizado de unidades de GPU usadas pelos contêineres em uma instância. O valor varia de 0% a 100%. Por exemplo, se houver quatro GPUs e a métrica GPUUtilization for 200%, a métrica GPUUtilizationNormalized será 50%.

MemoryReservation

A soma da memória reservada pelos contêineres em uma instância. O valor varia de 0% a 100%. Nas configurações de um componente de inferência, você define a reserva de memória com o parâmetro MinMemoryRequiredInMb. Por exemplo, se uma instância de 32 GiB reservou 1024 MB, a métrica MemoryReservation será 29,8%.

MemoryUtilization

O percentual de memória usada pelos contêineres em uma instância. Esse intervalo de valores é de 0% a 100%.

Para trabalhos de processamento, o valor é a utilização de memória do contêiner de processamento na instância.

Para trabalhos de treinamento, o valor é a utilização de memória do contêiner de algoritmo na instância.

Para trabalhos de transformação em lote, o valor é a utilização de memória do contêiner de transformação na instância.

Para variantes de endpoint, o valor é a soma da utilização de memória dos contêineres principais e complementares na instância.

Unidades: percentual

nota

Para várias instâncias, cada instância relata métricas de utilização de memória. No entanto, a visualização padrão no CloudWatch mostra a média de utilização da memória em todas as instâncias.

Dimensions for Processing Job, Training Job and Batch Transform Job Instance Metrics (Métricas de dimensões de instância para trabalhos de processamento, trabalhos de treinamento e trabalhos de transformação em lote)

Dimensão Descrição
Host

Para trabalhos de processamento, o valor dessa dimensão tem o formato [processing-job-name]/algo-[instance-number-in-cluster]. Use essa dimensão para filtrar as métricas de instância para o trabalho de processamento e a instância especificados. Esse formato de dimensão está presente somente no namespace /aws/sagemaker/ProcessingJobs.

Para trabalhos de treinamento, o valor dessa dimensão tem o formato [training-job-name]/algo-[instance-number-in-cluster]. Use essa dimensão para filtrar as métricas de instância para o trabalho de treinamento e a instância especificados. Esse formato de dimensão está presente somente no namespace /aws/sagemaker/TrainingJobs.

Para trabalhos de transformação em lote, o valor dessa dimensão tem o formato [transform-job-name]/[instance-id]. Use essa dimensão para filtrar métricas de instância para o trabalho de transformação em lote e a instância especificados. Esse formato de dimensão está presente somente no namespace /aws/sagemaker/TransformJobs.

Métricas de trabalhos do SageMaker Inference Recommender

O namespace /aws/sagemaker/InferenceRecommendationsJobs inclui as seguintes métricas para trabalhos de recomendação de inferência:

Métricas do Inference Recommender

Métrica Descrição
ClientInvocations

O número de solicitações InvokeEndpoint enviadas para um endpoint do modelo, conforme observado pelo Inference Recommender.

Unidades: nenhuma

Estatística válida: soma

ClientInvocationErrors

O número de InvokeEndpoint solicitações que falharam, conforme observado pelo Inference Recommender.

Unidades: nenhuma

Estatística válida: soma

ClientLatency

O intervalo de tempo gasto entre o envio de uma chamada InvokeEndpoint e o recebimento de uma resposta, conforme observado pelo Inference Recommender. Observe que o tempo está em milissegundos, enquanto a métrica de invocação do endpoint ModelLatency está em microssegundos.

Unidade: milissegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras, porcentagens

NumberOfUsers

O número de usuários simultâneos enviando solicitações InvokeEndpoint para o endpoint do modelo.

Unidades: nenhuma

Estatísticas válidas: mínimo, máximo e média

Dimensões para métricas de trabalho do Inference Recommender

Dimensão Descrição
JobName

Filtra as métricas do trabalho do Inference Recommender para o trabalho especificado do Inference Recommender.

EndpointName

Filtra as métricas de trabalho do Inference Recommender para o endpoint especificado.

Métricas do SageMaker Ground Truth

Métricas do Ground Truth

Métrica Descrição
ActiveWorkers

Um único operador ativo em uma equipe de trabalho privada enviou, liberou ou recusou uma tarefa. Para obter o número total de operadores ativos, use a estatística Soma. Ground Truth procura entregar cada evento ActiveWorkers individual uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não conseguir relatar o número total de operadores ativos.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

DatasetObjectsAutoAnnotated

O número de objetos de conjunto de dados anotados automaticamente em um trabalho de rotulagem. Essa métrica é emitida apenas quando a rotulagem automatizada está habilitada. Para exibir o progresso do trabalho de rotulagem, use a métrica Max.

Unidades: nenhuma

Estatísticas válidas: Max

DatasetObjectsHumanAnnotated

O número de objetos de conjunto de dados anotados por um ser humano em um trabalho de rotulagem. Para exibir o progresso do trabalho de rotulagem, use a métrica Max.

Unidades: nenhuma

Estatísticas válidas: Max

DatasetObjectsLabelingFailed

O número de objetos de conjunto de dados que falharam na rotulagem de um trabalho de rotulagem. Para exibir o progresso do trabalho de rotulagem, use a métrica Max.

Unidades: nenhuma

Estatísticas válidas: Max

JobsFailed

Um único trabalho de etiquetagem falhou. Para obter o número total de trabalhos de rotulagem que falharam, use a estatística Sum.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

JobsSucceeded

Um único trabalho de etiquetagem foi bem-sucedido. Para obter o número total de trabalhos de rotulagem que foram bem-sucedidos, use a estatística Sum.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

JobsStopped

Um único trabalho de etiquetagem foi interrompido. Para obter o número total de trabalhos de rotulagem que foram interrompidos, use a estatística Sum.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

TasksAccepted

Uma única tarefa foi aceita por um operador. Para obter o número total de tarefas aceitas pelos operadores, use a estatística Sum. Ground Truth tenta entregar cada evento TaskAccepted individual uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não relatar o número total de tarefas aceitas.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

TasksDeclined

Uma única tarefa foi recusada por um funcionário. Para obter o número total de tarefas recusadas pelos operadores, use a estatística Sum. Ground Truth tenta entregar cada evento TasksDeclined individual uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não relatar o número total de tarefas recusadas.

Unidades: nenhuma

Estatísticas válidas: Soma e contagem de amostras

TasksReturned

Uma única tarefa foi retornada. Para obter o número total de tarefas retornadas, use a estatística Sum. Ground Truth tenta entregar cada evento TasksReturned individual uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não relatar o número total de tarefas retornadas.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

TasksSubmitted

Uma única tarefa foi enviada/concluída por um funcionário particular. Para obter o número total de tarefas enviadas pelos operadores, use a estatística Sum. Ground Truth tenta entregar cada evento TasksSubmitted individual uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não relatar o número total de tarefas enviadas.

Unidades: nenhuma

Estatísticas válidas: Soma e Contagem de amostras

TimeSpent

Tempo gasto em uma tarefa concluída por um operador privada. Essa métrica não inclui o momento em que um operador fez uma pausa ou fez uma pausa. Ground Truth tenta realizar cada evento TimeSpent uma vez. Se essa entrega não for bem-sucedida, essa métrica pode não relatar o tempo total gasto.

Unidades: segundos

Estatísticas válidas: Soma e Contagem de amostras

TotalDatasetObjectsLabeled

O número de objetos de conjunto de dados rotulados com êxito em um trabalho de rotulagem. Para exibir o progresso do trabalho de rotulagem, use a métrica Max.

Unidades: nenhuma

Estatísticas válidas: Max

Dimensions for Dataset Object Metrics (Dimensões para métricas de objetos de conjunto de dados)

Dimensão Descrição
LabelingJobName

Filtra métricas de contagem de objetos de conjunto de dados para um trabalho de rotulagem.

Métricas da Amazon SageMaker Feature Store

Métricas de consumo do Feature Store

Métrica Descrição
ConsumedReadRequestsUnits

O número de unidades de leitura consumidas durante o período especificado. Você pode recuperar as unidades de leitura consumidas para uma operação de runtime da feature store e seu arquivo de atributos correspondente.

Unidades: nenhuma

Estatística válida: Todas

ConsumedWriteRequestsUnits

O número de unidades de gravação consumidas durante o período especificado. Você pode recuperar as unidades de gravação consumidas para uma operação de runtime da feature store e seu arquivo de atributos correspondente.

Unidades: nenhuma

Estatística válida: Todas

ConsumedReadCapacityUnits

O número de unidades de capacidade de leitura provisionadas consumidas ao longo do período especificado. Você pode recuperar as unidades de capacidade de leitura consumidas para uma operação de runtime do arquivo de atributos e grupo de atributos correspondente.

Unidades: nenhuma

Estatística válida: Todas

ConsumedWriteCapacityUnits

O número de unidades de capacidade de gravação provisionadas consumidas ao longo do período especificado. Você pode recuperar as unidades de capacidade de gravação consumidas para uma operação de runtime do arquivo de atributos e seu grupo de atributos correspondente.

Unidades: nenhuma

Estatística válida: Todas

Dimensões das métricas de consumo do Feature Store

Dimensão Descrição
FeatureGroupName, OperationName

Filtra as métricas de consumo de runtime do feature store e da operação que você especificou.

Métricas operacionais do Feature Store

Métrica Descrição
Invocations

O número de solicitações feitas às operações de runtime da feature store durante o período especificado.

Unidades: nenhuma

Estatística válida: soma

Operation4XXErrors

O número de solicitações feitas às operações de runtime do Feature Store em que a operação retornou um código de resposta HTTP 4xx. Para cada resposta 4xx, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

Operation5XXErrors

O número de solicitações feitas às operações de runtime da feature store em que a operação retornou um código de resposta HTTP 5xx. Para cada resposta 5xx, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

ThrottledRequests

O número de solicitações feitas às operações de runtime da feature store em que a solicitação foi limitada. Para cada solicitação controlada, 1 é enviado; caso contrário, 0 é enviado.

Unidades: nenhuma

Estatísticas válidas: média e soma

Latency

O intervalo de tempo para processar as solicitações feitas às operações de runtime do Feature Store. Este intervalo é medido a partir do momento em que o SageMaker recebe a solicitação até ele retornar uma resposta ao cliente.

Unidade: microssegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras, porcentagens

Dimensões das métricas operacionais do Feature Store

Dimensão Descrição

FeatureGroupName, OperationName

Filtra as métricas operacionais de runtime da feature store do arquivo de atributos e da operação que você especificou. Você pode usar essas dimensões para operações que não sejam em lote, como GetRecord, PutRecord e DeleteRecord.
OperationName

Filtra as métricas operacionais de runtime da feature store para a operação que você especificou. Você pode usar essa dimensão para operações em lote, como BatchGetRecord.

Métricas de pipelines do SageMaker

O namespace AWS/Sagemaker/ModelBuildingPipeline inclui as métricas a seguir para execuções do pipeline.

Duas categorias de métricas de execução do Pipelines estão disponíveis:

  • Métricas de execução em todos os pipelines: métricas de execução do pipeline no nível da conta (para todos os pipelines na conta atual)

  • Métricas de execução de pipelines: métricas de execução de pipeline por pipeline

As métricas estão disponíveis a uma frequência de 1 minuto.

Métricas de execução de pipelines

Métrica Descrição
ExecutionStarted

O número de execuções de pipeline iniciadas.

Unidades: contagem

Estatísticas válidas: média e soma

ExecutionFailed

O número de execuções de pipeline que falharam.

Unidades: contagem

Estatísticas válidas: média e soma

ExecutionSucceeded

O número de execuções de pipeline que foram bem-sucedidas.

Unidades: contagem

Estatísticas válidas: média e soma

ExecutionStopped

O número de execuções do pipeline que pararam.

Unidades: contagem

Estatísticas válidas: média e soma

ExecutionDuration

A duração em milissegundos em que a execução do pipeline foi executada.

Unidade: milissegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

Dimensões para métricas de execução por pipeline

Dimensão Descrição
PipelineName

Filtra as métricas de execução do pipeline para um pipeline especificado.

Métricas de etapas do pipeline

O namespace AWS/Sagemaker/ModelBuildingPipeline inclui as métricas a seguir para as etapas de execuções do pipeline.

As métricas estão disponíveis a uma frequência de 1 minuto.

Métrica Descrição
StepStarted

O número de etapas iniciadas.

Unidades: contagem

Estatísticas válidas: média e soma

StepFailed

O número de chamadas que falharam.

Unidades: contagem

Estatísticas válidas: média e soma

StepSucceeded

O número de etapas que foram bem-sucedidas.

Unidades: contagem

Estatísticas válidas: média e soma

StepStopped

O número de etapas que pararam.

Unidades: contagem

Estatísticas válidas: média e soma

StepDuration

A duração da execução da etapa em milissegundos.

Unidade: milissegundos

Estatísticas válidas: média, soma, mín., máx., contagem de amostras

Dimensões para métricas de etapas de Pipelines

Dimensão Descrição
PipelineName, StepName

Filtra métricas de etapas para um pipeline e uma etapa especificados.