뉴렐릭 통합 에는 Google Cloud Platform(GCP) 과의 아파치 Kafka용 Google Cloud 관리형 서비스 데이터를 뉴렐릭에 보고하는 통합이 포함되어 있습니다. 이 문서에서는 GCP 관리형 Kafka 통합을 활성화하는 방법과 보고되는 데이터에 대해 설명합니다.
특징
아파치 Kafka용 관리형 서비스는 Kafka Connect를 포함하는 Google Cloud의 완전 관리형 아파치 Kafka 호환 스트리밍 플랫폼입니다. 뉴렐릭 관리형 Kafka 통합은 클러스터, 토픽, 파티션, 소비자 그룹, Kafka Connect 클러스터 및 커넥터 전반에서 처리량, 지연, 보존 및 커넥터 상태 메트릭을 수집합니다.
통합 활성화
통합을 활성화하려면 표준 절차에 따라 GCP 서비스를 뉴렐릭에 연결하십시오:
폴링 빈도
뉴렐릭 통합은 통합에 따라 달라지는 폴링 간격에 따라 GCP 서비스를 쿼리합니다. Google Cloud Managed Kafka의 폴링 주기는 5분입니다. 해상도는 1분마다 1개의 데이터 포인트입니다.
중요
아파치 Kafka용 관리형 서비스는 제한된 프리뷰로 WIF 통합에 대해 1분 폴링 간격을 지원합니다. 액세스를 요청하려면 뉴렐릭 지원팀에 문의하십시오.
워크로드 아이덴티티 페더레이션
데이터 찾기 및 사용
통합을 활성화하면 Managed Kafka 리소스가 뉴렐릭 엔티티 탐색기에 엔티티로 표시됩니다. 대시보드를 확인하고 서비스를 관리하려면 one.newrelic.com > All capabilities > Infrastructure > GCP(으)로 이동하십시오.
GCP 클라우드 모니터링에서 사용할 수 있는 모든 관리형 Kafka 메트릭은 Metric 이벤트 유형에서 차원 메트릭으로 수집됩니다. 이 표 이외의 추가 메트릭은 자동으로 수집됩니다. 전체 목록은 Google의 관리형 Kafka 메트릭 문서 를 참조하십시오.
엔티티
측정항목 데이터
주요 메트릭 ― Cluster
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 퍼센트 | Managed Kafka 클러스터의 브로커 노드 전반에 걸친 CPU 사용률입니다. |
| 퍼센트 | 관리형 Kafka 클러스터의 브로커 노드 전체 메모리 사용률입니다. |
| 바이트 | 관리형 Kafka 클러스터에서 사용 중인 스토리지입니다. |
| 세다 | Managed Kafka 클러스터에서 현재 실행 중인 브로커 수입니다. |
| 세다 | Managed Kafka 클러스터의 토픽 수입니다. |
주요 메트릭 ― Topic
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 바이트 | Managed Kafka 토픽으로 생성된 바이트입니다. |
| 바이트 | 관리형 Kafka 토픽에서 소비된 바이트입니다. |
| 세다 | Managed Kafka 토픽으로 생성된 메시지입니다. |
| 세다 | 관리형 Kafka 토픽의 파티션 수입니다. |
| 바이트 | 파티션 전체에 걸친 관리형 Kafka 토픽의 총 디스크 크기입니다. |
주요 메트릭 — 토픽 파티션
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 바이트 | 토픽 파티션의 온디스크 크기입니다. |
| 세다 | 토픽 파티션에 생성된 가장 최근 오프셋입니다. |
| 세다 | 토픽 파티션에서 사용 가능한 가장 빠른 오프셋입니다. |
| 세다 | 토픽 파티션의 로그 끝 오프셋입니다. |
| 세다 | 파티션이 가장 느린 소비자보다 앞서 있는 메시지 수입니다. |
주요 메트릭 — 소비자 그룹
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 세다 | 파티션별로 분류된, 소비자 그룹이 최신 오프셋보다 뒤처진 메시지 수입니다. |
| 세다 | 소비자 그룹이 커밋한 마지막 오프셋입니다. |
| 세다 | 소비자 그룹의 활성 멤버 수입니다. |
| 세다 | 관찰된 소비자 그룹 리밸런싱 수입니다. |
주요 메트릭 ― Connect Cluster
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 초 | Kafka Connect 클러스터의 작업자가 소비한 CPU-초입니다. |
| 바이트 | Kafka Connect 클러스터의 워커가 현재 사용 중인 메모리입니다. |
| 세다 | Kafka Connect 클러스터에서 처리한 커넥터 API requests 수입니다. |
| 세다 | Kafka Connect 클러스터에서 현재 실행 중인 작업자 수입니다. |
| 밀리초 | Kafka Connect 클러스터의 커넥터 API requests에 대한 지연시간 분포입니다. |
주요 메트릭 ― 커넥터
측정항목 이름 | 유닛 | 설명 |
|---|---|---|
| 세다 | 작업 상태별로 분류된, 커넥터에 대해 실행 중인 작업 수입니다. |
| 세다 | 커넥터에서 오류를 발생시킨 레코드 수입니다. |
| 세다 | 싱크 커넥터에 버퍼링된 활성 레코드입니다. |
| 세다 | 소스 커넥터가 Kafka에 기록한 레코드 수입니다. |
| 세다 | 싱크 커넥터가 Kafka에서 읽은 레코드 수입니다. |
관리형 Kafka 메트릭의 전체 목록은 Google의 관리형 Kafka 메트릭 문서를 참조하십시오.