Kafka 모니터링은 믿음직한 데이터 스트리밍을 보장하고 비용이 많이 드는 다운타임 시스템을 방지하기 위해 믿음 Kafka 클러스터에 대한 양방향 가시성을 제공합니다. OpenTelemetry Collector 사용하면 자체 호스팅 환경과 Strimzi를 사용하는 Kubernetes 환경 모두에서 작동하는 유연하고 공급업체 비종속적인 접근 방식을 통해 포괄적인 모니터링을 얻을 수 있습니다.
클러스터 상태, 브로커 상태, 주제 지표 및 소비자 그룹 성능을 보여주는 포괄적인 대시보드로 Kafka 클러스터를 모니터링하세요.
Kafka 모니터링이 필요한 이유는 무엇인가요?
- 장애 예방 - 브로커 오류, 복제 부족 파티션 및 오프라인 토픽 발생 시 알림을 받아 다운타임을 방지하세요.
- 성능 최적화 - 데이터 처리 속도에 영향을 미치는 소비자 지연, 느린 생산자 및 네트워크 병목현상, 병목지점을 식별합니다.
- 용량 계획 수립 - 리소스 사용량, 메시지 전송률 및 연결 수를 추적하여 사전에 확장합니다.
- 데이터 무결성 보장 - 복제 상태 및 파티션 균형을 모니터링하여 데이터 손실을 방지하세요.
일반적인 사용 사례
금융 거래 스트리밍, IoT 센서 데이터 처리 또는 마이크로서비스 통신 처리 등 어떤 작업을 하든 Kafka 모니터링을 통해 문제가 비즈니스에 영향을 미치기 전에 해결할 수 있습니다. 소비자 지연 급증이 대시보드를 위협할 때, 브로커 실패로 인해 데이터 손실 위험이 있을 때, 또는 네트워크 병목 현상, 병목지점이 핵심 데이터 파이프라인을 느리게 할 때 알림을 받습니다. 이러한 모니터링은 전자상거래 플랫폼, 실시간 분석 시스템, 그리고 메시지 전달 지연이나 실패가 사용자 경험이나 비즈니스 운영에 영향을 미칠 수 있는 모든 애플리케이션에 필수적입니다.
시작하다
모니터링을 시작하려면 Kafka 환경을 선택하세요. 각 설정 가이드에는 전제 조건, 설정 단계, 문제 해결, 해결 팁이 포함되어 있습니다.
작동 원리
OpenTelemetry Collector는 두 개의 특수 수신기를 사용하여 Kafka 클러스터에 연결합니다.
데이터 수집:
- Kafka 지표 수신기는 클러스터 상태, 소비자 지연, 주제 지표 및 파티션 상태를 위해 Kafka의 위치스트랩 포트에 연결됩니다.
- JMX 수신기는 성능 지표, JVM 데이터 및 자세한 운영을 위해 브로커 JMX 포트에 연결됩니다.
데이터 흐름:
- 수집기는 두 수신기로부터 동시에 신호를 수집합니다.
- 데이터는 효율적인 전송을 위해 처리, 보강 및 일괄 처리됩니다.
- 데이터는 OTLP 익스포터를 통해 뉴렐릭으로 내보내집니다.
- 뉴렐릭이 자동으로 대시보드를 생성하고 채웁니다.
제공되는 주요 정보에는 소비자 지연, 브로커 상태, 요청 속도, 네트워크 처리량, 파티션 복제 상태 및 리소스 활용률이 포함됩니다.
전체 이름, 설명 및 알림 권장 사항은 Kafka 참조를 확인하세요.
선택 사항: 애플리케이션 수준 모니터링을 추가합니다.
위의 모니터링 설정은 Kafka 클러스터의 상태와 성능을 추적합니다. 시스템을 통해 데이터가 어떻게 흐르는지 전체적으로 파악하려면 Kafka에서 메시지를 주고받는 애플리케이션을 모니터링할 수도 있습니다.
애플리케이션 모니터링 기능이 추가됩니다.
- 앱에서 Kafka로 지연 시간을 요청하세요
- 처리량 수준에서의 처리량 측정
- 믿음직스러운 것과 배신하는 것
- 생산자 → 중개업자 → 소비자까지 완벽한 투명성 확보
빠른 설정: OpenTelemetry 제로 코드 Kafka 측정 에 대해 저항 에이전트를 사용합니다. 고급 설정에 대해서는 Kafka 측정, 로그 문서를 참조하세요.
다음 단계
Kafka 클러스터 모니터링을 시작할 준비가 되셨나요?
모니터링 설정:
- 자체 호스팅 Kafka - 물리적 또는 가상 머신에서 실행 중인 Kafka 모니터링
- Strimzi를 사용한Kubernetes - Kubernetes에서 Kafka 구현, 배포 모니터링
설치 후:
- 데이터 찾기 및 쿼리 - 뉴렐릭 UI 탐색하고 NRQL 쿼리 작성
- Kafka 메트릭 살펴보기 - 알림 권장 사항을 포함한 완벽한 메트릭 참조 자료