Amazon SageMaker 통합

Amazon SageMaker와 New Relic의 통합을 통합하면 전체 시스템에서 기계 학습 성능을 계측, 분석, 문제 해결 및 최적화할 수 있습니다. 모델의 입력 또는 출력과 둘 사이의 관계의 변화에 신속하게 대응하는 능력을 엄격하게 관찰하십시오.

다음 단계를 수행하여 Amazon SageMaker 지표 및 객체(AWS CloudWatch로 전송됨)를 모니터링하고 이를 New Relic에서 엔터티 및 대시보드 로 봅니다.

작동 중인 SageMaker 통합을 보려면 이 짧은 YouTube 비디오(2분 57초)를 시청하십시오.

AWS CloudWatch 지표를 새 유물로 스트리밍

간단한 한 단계(단 몇 분!)로 New Relic 모델 성능 모니터링 엔터티의 이점을 누리십시오.

중요

CloudWatch로 전송된 각 메트릭은 네임스페이스 필터에 따라 NRDB에 있는 New Relic의 메트릭 테이블로 자동 전송됩니다. NRQL을 사용하여 항상 쿼리할 수 있습니다.

FROM Metric SELECT * WHERE aws.Namespace = '/aws/sagemaker/Endpoints' LIMIT MAX SINCE 1 WEEK AGO

수동 옵션

문서에 따라 CloudWatch Metric Streams 를 설정하십시오.

자동화된 옵션

Terraform 코드 를 사용하여 설정을 자동화할 수 있습니다.

module "example_usage" {
  source = "modules/nr-cloudwatch-metric-stream"

  name_suffix    = "suffix" # optional
  aws_account_id = "your-aws-account-id"

  newrelic_collector_endpoint = "newrelic-endpoint-url"
  newrelic_trusted_account_id = "12345678"
  newrelic_license_key        = "YOUR_INGEST_LICENSE_KEY"
}

모듈을 호출할 때 올바른 newrelic_collector_endpoint 를 작성하세요.

HTTP 끝점 URL - 미국 데이터 센터: https://aws-api.newrelic.com/cloudwatch-metrics/v1
HTTP 끝점 URL - EU 데이터 센터: https://aws-api.eu01.nr-data.net/cloudwatch-metrics/v1

메트릭 스트림을 설정할 때 모든 네임스페이스에서 메트릭을 스트리밍하도록 선택하거나 네임스페이스를 지정할 수 있습니다.

중요

메트릭이 New Relic에 도착하면 자동으로 생성되는 대시보드에서 각 엔터티의 메트릭을 볼 수 있습니다.

Amazon SageMaker에서 데이터와 모델을 모니터링하고 CloudWatch로 지표를 보냅니다.

SageMaker는 엔드포인트의 성능을 자동으로 모니터링하고 통계 지표를 CloudWatch로 보냅니다. 자세한 내용은 엔드포인트 CloudWatch 지표 를 참조하십시오.

Amazon SageMaker 통합에서 더 많은 이점을 얻으려면 Amazon SageMaker 모델 모니터 도구를 사용하십시오. 프로덕션에서 기계 학습 모델의 품질을 모니터링하고 CloudWatch에 지표를 보내려면 예약된 모니터링 작업을 정의해야 합니다.

Amazon SageMaker Model Monitor 는 다음과 같은 유형의 모니터링을 제공합니다.

데이터 품질 모니터링 : 데이터 품질의 드리프트를 모니터링합니다.
- 예시 노트북: Amazon SageMaker 모델 모니터
- 네임스페이스: aws/sagemaker/Endpoints/data-metrics
모델 품질 모니터링: 정확도와 같은 모델 품질 메트릭의 드리프트를 모니터링합니다.
- 예시 노트북: Amazon SageMaker 모델 품질 모니터
- 네임스페이스: aws/sagemaker/Endpoints/model-metrics
프로덕션 모델에 대한 바이어스 드리프트 모니터링 : 모델 예측의 바이어스를 모니터링합니다.
- 노트북 예시: 편향 드리프트 및 기능 속성 드리프트 모니터링 Amazon SageMaker Clarify
- 네임스페이스: aws/sagemaker/Endpoints/bias-metrics
프로덕션 모델의 기능 속성 드리프트 모니터링: 기능 속성의 드리프트를 모니터링합니다.
- 노트북 예시: 편향 드리프트 및 기능 속성 드리프트 모니터링 Amazon SageMaker Clarify
- 네임스페이스: aws/sagemaker/Endpoints/explainability-metrics

이 문서가 설치하는데 도움이 되셨나요?

고급 옵션

측정항목 데이터 포인트를 Amazon CloudWatch에 게시하고 put_metric_data 함수 를 사용하여 네임스페이스와 위 중 하나를 정의할 수도 있습니다.

초매개변수 조정에 자체 알고리즘을 사용하는 경우 평가 데이터를 stderr 또는 stdout 에 작성하여 하나 이상의 측정항목을 전송하는지 확인합니다. 자동 모델 튜닝에서 메트릭을 정의하는 방법 에 대해 자세히 알아보세요. Scikit-Learn 랜덤 포레스트 개발, 훈련, 최적화 및 배포 예제 노트북도 참조하십시오.

엔터티 및 대시보드 탐색

세부 네임스페이스에 대해 aws-entities (MLOps 엔터티 도메인 아래)를 생성합니다. 이러한 엔터티의 경우 즉시 사용 가능한 및 보기를 얻을 수 있습니다. 엔터티 뷰의 일부로 표시되지 않는 지표를 보기 위해 나만의 대시보드를 만들 수도 있습니다.

New Relic 개체	네임스페이스
머신 러닝 엔드포인트	`/aws/sagemaker/Endpoints`, `AWS/SageMaker`
머신 러닝 모델 데이터	`aws/sagemaker/Endpoints/data-metrics`
기계 학습 모델	`aws/sagemaker/Endpoints/model-metrics`, `aws/sagemaker/Endpoints/explainability-metrics`

보려면 one.newrelic.com > All capabilities > Model performance 으로 이동하세요.

Amazon SageMaker 엔터티 중 하나의 엔드포인트 지표에 대한 대시보드

Dashboard for the machine learning endpoint

모델 데이터 엔터티에 대한 대시보드