이 통합은 오픈 소스 소프트웨어입니다. 즉 , 소스 코드를 탐색하고 개선 사항을 보내거나 자체 포크를 만들어 빌드할 수 있습니다.
라벨 및 사용자 정의 속성
환경 변수는 등의 구성 설정을 제어하는 데 사용될 수 있으며, 그런 다음 인프라 에이전트를 통해 전달됩니다. 이 기능을 사용하는 방법에 대한 지침은 인프라 에이전트 구성을 참조하세요.
레이블을 사용하여 메트릭을 추가로 꾸밀 수 있습니다. 레이블을 사용하면 키/값 쌍 속성을 메트릭에 추가한 다음 메트릭을 쿼리, 필터링 또는 그룹화하는 데 사용할 수 있습니다.
기본 샘플 구성 파일에는 레이블의 예가 포함되어 있지만 필수는 아니므로 원하는 새 레이블을 제거, 수정 또는 추가할 수 있습니다.
labels: env: production role: kafka호스트 내 통합 구성의 일반적인 구조에 대한 자세한 내용은 구성 을 참조하십시오.
인벤토리 데이터
Kafka 통합은 기본이 아닌 브로커 및 주제 구성 매개변수를 캡처하고 ZooKeeper에서 보고한 대로 주제 파티션 구성표를 수집합니다. 데이터는 config/kafka 소스 아래의 인벤토리 UI 페이지 에서 사용할 수 있습니다.
KafkaBrokerSample 및 KafkaTopicSample 컬렉션 구성
Kafka 통합은 지표 및 인벤토리 정보를 모두 수집합니다. 각 컬렉션에 사용 가능한 설정을 보려면 아래의 Applies To 열을 확인하세요.
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
CLUSTER_NAME | 모니터링 중인 클러스터를 고유하게 식별하는 사용자 정의 이름입니다. Required. | 해당 없음 | 미 |
KAFKA_VERSION | 연결하려는 Kafka 브로커의 버전으로 최적의 API 버전을 설정하는 데 사용됩니다. 브로커의 버전과 일치하거나 그보다 낮아야 합니다. 1.0.0 이전 버전에서는 일부 기능이 누락될 수 있습니다. 브로커 바이너리 이름이 | 1.0.0 | 미 |
AUTODISCOVER_STRATEGY | 브로커를 찾는 방법. 옵션은 | 사육사 | 미 |
METRICS | 측정항목만 수집을 활성화하려면 | 잘못된 | |
INVENTORY | 인벤토리 전용 컬렉션을 활성화하려면 | 잘못된 |
Zookeeper 자동 검색 인수
이는 autodiscover_strategy 옵션이 zookeeper 로 설정된 경우에만 관련이 있습니다.
' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
ZOOKEEPER_HOSTS | 연결해야 하는 Apache ZooKeeper 호스트(JSON 형식) 목록입니다. If | [] | 미 |
ZOOKEEPER_AUTH_SCHEME | 연결하는 데 사용되는 ZooKeeper 인증 체계입니다. 현재 지원되는 유일한 값은 | 해당 없음 | 미 |
ZOOKEEPER_AUTH_SECRET | 연결에 사용되는 ZooKeeper 인증 비밀입니다. | 해당 없음 | 미 |
ZOOKEEPER_PATH | Kafka 구성이 있는 Zookeeper 노드입니다. 기본값은 | 해당 없음 | 미 |
PREFERRED_LISTENER | 특정 리스너를 사용하여 브로커에 연결합니다. 설정하지 않으면 성공적인 연결 테스트를 통과한 첫 번째 리스너가 사용됩니다. 지원되는 값은
| 해당 없음 | 미 |
부트스트랩 브로커 검색 인수
autodiscover_strategy 옵션이 다음으로 설정된 경우에만 관련이 있습니다.bootstrap
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
BOOTSTRAP_BROKER_HOST | 부트스트랩 브로커의 호스트입니다. If | 해당 없음 | 미 |
BOOTSTRAP_BROKER_KAFKA_PORT | 부트스트랩 브로커용 Kafka 포트. | 해당 없음 | 미 |
BOOTSTRAP_BROKER_KAFKA_PROTOCOL | 부트스트랩 브로커에 연결하는 데 사용할 프로토콜입니다. 지원되는 값은
| 일반 텍스트 | 미 |
BOOTSTRAP_BROKER_JMX_PORT | 클러스터의 각 브로커에서 수집에 사용할 JMX 포트입니다. Note that all discovered brokers should have JMX active on this port | 해당 없음 | 미 |
BOOTSTRAP_BROKER_JMX_USER | 클러스터의 각 브로커에서 수집에 사용할 JMX 사용자입니다. | 해당 없음 | 미 |
BOOTSTRAP_BROKER_JMX_PASSWORD | 클러스터의 각 브로커에서 수집에 사용할 JMX 비밀번호입니다. | 해당 없음 | 미 |
JMX 옵션
이러한 옵션은 인스턴스의 모든 JMX 연결에 적용됩니다.
' ' ' ' ' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
KEY_STORE | JMX 클라이언트의 SSL 인증서를 포함하는 키 저장소의 파일 경로. | 해당 없음 | 미 |
KEY_STORE_PASSWORD | JMX SSL 키 저장소의 비밀번호입니다. | 해당 없음 | 미 |
TRUST_STORE | JMX 서버의 SSL 인증서를 포함하는 신뢰 키 저장소의 파일 경로. | 해당 없음 | 미 |
TRUST_STORE_PASSWORD | JMX 신뢰 저장소의 비밀번호입니다. | 해당 없음 | 미 |
DEFAULT_JMX_USER | 메트릭을 수집하기 위해 JMX 호스트에 연결하는 기본 사용자입니다. JMX 호스트에 대해 사용자 이름 필드가 생략되면 이 값이 사용됩니다. | 관리자 | 미 |
DEFAULT_JMX_PASSWORD | JMX 호스트에 연결하기 위한 기본 비밀번호입니다. JMX 호스트에 대해 비밀번호 필드가 생략되면 이 값이 사용됩니다. | 관리자 | 미 |
TIMEOUT | 개별 JMX 쿼리에 대한 시간 초과(밀리초)입니다. | 10000 | 미 |
브로커 TLS 연결 옵션
브로커 프로토콜이 SSL 또는 SASL_SSL 인 경우 이러한 옵션이 필요합니다.
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
TLS_CA_FILE | PEM 형식의 SSL 및 SASL_SSL 수신기에 대한 인증 기관 파일입니다. | 해당 없음 | 미 |
TLS_CERT_FILE | PEM 형식의 SSL 및 SASL_SSL 수신기용 클라이언트 인증서 파일입니다. | 해당 없음 | 미 |
TLS_KEY_FILE | PEM 형식의 SSL 및 SASL_SSL 리스너용 클라이언트 키 파일입니다. | 해당 없음 | 미 |
TLS_INSECURE_SKIP_VERIFY | 서버의 인증서 체인 및 호스트 이름 확인을 건너뜁니다. | 잘못된 | 미 |
브로커 SASL 및 Kerberos 연결 옵션
브로커 프로토콜이 SASL_PLAINTEXT 또는 SASL_SSL 인 경우 이러한 옵션이 필요합니다.
' ' ' ' ' ' ' ' ' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
SASL_MECHANISM | 사용할 SASL 인증 유형입니다. 지원되는 옵션은 | 해당 없음 | 미 |
SASL_USERNAME | PLAIN 및 SCRAM 메커니즘에는 SASL 사용자 이름이 필요합니다. | 해당 없음 | 미 |
SASL_PASSWORD | PLAIN 및 SCRAM 메커니즘에는 SASL 암호가 필요합니다. | 해당 없음 | 미 |
SASL_GSSAPI_REALM | GSSAPI 메커니즘에는 Kerberos 영역이 필요합니다. | 해당 없음 | 미 |
SASL_GSSAPI_SERVICE_NAME | GSSAPI 메커니즘에 필요한 Kerberos 서비스 이름입니다. | 해당 없음 | 미 |
SASL_GSSAPI_USERNAME | GSSAPI 메커니즘에 필요한 Kerberos 사용자 이름. | 해당 없음 | 미 |
SASL_GSSAPI_KEY_TAB_PATH | GSSAPI 메커니즘에 필요한 Kerberos 키 탭 경로. | 해당 없음 | 미 |
SASL_GSSAPI_KERBEROS_CONFIG_PATH | GSSAPI 메커니즘에 필요한 Kerberos 구성 경로. | /etc/krb5.conf | 미 |
SASL_GSSAPI_DISABLE_FAST_NEGOTIATION | FAST 협상을 비활성화합니다. | 잘못된 | 미 |
브로커 컬렉션 필터링
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
LOCAL_ONLY_COLLECTION | 구성된 부트스트랩 브로커와 관련된 메트릭만 수집합니다. Environments that use discovery (such as Kubernetes) must be set to true because othwerwise brokers will be discovered twice: By the integration, and by the discovery mechanism, leading to duplicate data. Note that activating this flag will skip KafkaTopicSample collection | 잘못된 | 미 |
TOPIC_MODE | 수집하는 주제의 수를 결정합니다. 옵션은 | 없음 | 미 |
TOPIC_LIST | 모니터링할 주제 이름의 JSON 배열입니다. | [] | 미 |
TOPIC_REGEX | 모니터링할 주제 이름과 일치하는 정규식 패턴입니다. | 해당 없음 | 미 |
TOPIC_BUCKET | 여러 인스턴스에 걸쳐 주제 컬렉션을 분할하는 데 사용됩니다. | 1/1 | 미 |
COLLECT_TOPIC_SIZE | 메트릭 주제 크기를 수집합니다. 옵션은 This is a resource-intensive metric to collect, especially against many topics. | 잘못된 | 미 |
COLLECT_TOPIC_OFFSET | 메트릭 주제 오프셋을 수집합니다. 옵션은 This is a resource-intensive metric to collect, especially against many topics. | 잘못된 | 미 |
KafkaConsumerSample 및 KafkaProducerSample 컬렉션 구성
Kafka 통합은 지표(M) 및 인벤토리(I) 정보를 모두 수집합니다. 각 특정 컬렉션에 사용할 수 있는 설정을 알아보려면 아래의 Applies To 열을 확인하세요.
' ' ' ' ' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
CLUSTER_NAME | 모니터링 중인 클러스터를 고유하게 식별하는 사용자 정의 이름입니다. Required. | 해당 없음 | 미 |
PRODUCERS | 수집하는 생산자.각 생산자에 대해 Examples:
| [] | 미 |
CONSUMERS | 수집할 소비자.각 소비자에 대해 Examples:
| [] | 미 |
DEFAULT_JMX_HOST | JMX 메트릭을 수집하는 기본 호스트입니다. 생산자 또는 소비자 구성에서 호스트 필드가 생략된 경우 이 값이 사용됩니다. | 로컬 호스트 | 미 |
DEFAULT_JMX_PORT | JMX 메트릭을 수집하기 위한 기본 포트입니다. 생산자 또는 소비자 구성에서 포트 필드가 생략된 경우 이 값이 사용됩니다. | 9999 | 미 |
DEFAULT_JMX_USER | 메트릭을 수집하기 위해 JMX 호스트에 연결하는 기본 사용자입니다. 생산자 또는 소비자 구성에서 사용자 이름 필드가 생략된 경우 이 값이 사용됩니다. | 관리자 | 미 |
DEFAULT_JMX_PASSWORD | JMX 호스트에 연결하기 위한 기본 비밀번호입니다. 생산자 또는 소비자 구성에서 암호 필드가 생략된 경우 이 값이 사용됩니다. | 관리자 | 미 |
METRICS | 측정항목만 수집을 활성화하려면 | 잘못된 | |
INVENTORY | 인벤토리 전용 컬렉션을 활성화하려면 | 잘못된 |
JMX SSL 및 시간 초과 옵션
이러한 옵션은 인스턴스의 모든 JMX 연결에 적용됩니다.
' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
KEY_STORE | JMX 클라이언트의 SSL 인증서를 포함하는 키 저장소의 파일 경로. | 해당 없음 | 미 |
KEY_STORE_PASSWORD | JMX SSL 키 저장소의 비밀번호입니다. | 해당 없음 | 미 |
TRUST_STORE | JMX 서버의 SSL 인증서를 포함하는 신뢰 키 저장소의 파일 경로. | 해당 없음 | 미 |
TRUST_STORE_PASSWORD | JMX 신뢰 저장소의 비밀번호입니다. | 해당 없음 | 미 |
TIMEOUT | 개별 JMX 쿼리에 대한 시간 초과(밀리초)입니다. | 10000 | 미 |
KafkaOffsetSample 컬렉션 구성
Kafka 통합은 지표 및 인벤토리 정보를 모두 수집합니다. 각 특정 컬렉션에 사용할 수 있는 설정을 알아보려면 아래의 Applies To 열을 확인하세요.
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
CLUSTER_NAME | 모니터링 중인 클러스터를 고유하게 식별하는 사용자 정의 이름입니다. Required. | 해당 없음 | 미 |
KAFKA_VERSION | 연결하려는 Kafka 브로커의 버전으로 최적의 API 버전을 설정하는 데 사용됩니다. 브로커의 버전과 일치하거나 그보다 낮아야 합니다. 1.0.0 이전 버전에서는 일부 기능이 누락될 수 있습니다. Note that if the broker binary name is kafka_2.12-2.7.0 the Kafka api version to be used is 2.7.0, the preceding 2.12 is the Scala language version. | 1.0.0 | 미 |
AUTODISCOVER_STRATEGY | 브로커를 찾는 방법. 옵션은 | 사육사 | 미 |
CONSUMER_OFFSET | true로 설정된 경우 KafkaOffsetSample에 소비자 오프셋 데이터를 채웁니다. Note that this option will skip Broker/Consumer/Producer collection and only collect KafkaOffsetSample | 잘못된 | 미 |
CONSUMER_GROUP_REGEX | 오프셋 통계를 수집할 소비자 그룹과 일치하는 정규식 패턴입니다. 이는 300개의 소비자 그룹에 대한 통계 수집으로 제한됩니다. 참고: 이 옵션은 CONSUMER_OFFSET이 true일 때 설정해야 합니다. | 해당 없음 | 미 |
INACTIVE_CONSUMER_GROUP_OFFSET | 활성 소비자가 없는 소비자 그룹에서 오프셋 메트릭을 수집하려면 CONSUMER_OFFSET을 true로 설정해야 합니다. | 잘못된 | 미 |
CONSUMER_GROUP_OFFSET_BY_TOPIC | 주제별 consumerGroup에 대한 추가 메트릭 집계를 활성화합니다.CONSUMER_OFFSET을 true로 설정해야 합니다. | 해당 없음 | 미 |
METRICS | 측정항목만 수집을 활성화하려면 | 잘못된 | |
INVENTORY | 인벤토리 전용 컬렉션을 활성화하려면 | 잘못된 |
Zookeeper 자동 검색 인수
이는 autodiscover_strategy 옵션이 zookeeper 로 설정된 경우에만 관련이 있습니다.
' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
ZOOKEEPER_HOSTS | 연결해야 하는 Apache ZooKeeper 호스트(JSON 형식) 목록입니다. If | [] | 미 |
ZOOKEEPER_AUTH_SCHEME | 연결하는 데 사용되는 ZooKeeper 인증 체계입니다. 현재 지원되는 유일한 값은 | 해당 없음 | 미 |
ZOOKEEPER_AUTH_SECRET | 연결에 사용되는 ZooKeeper 인증 비밀입니다. | 해당 없음 | 미 |
ZOOKEEPER_PATH | Kafka 구성이 있는 Zookeeper 노드입니다. 기본값은 | 해당 없음 | 미 |
PREFERRED_LISTENER | 특정 리스너를 사용하여 브로커에 연결합니다. 설정하지 않으면 성공적인 연결 테스트를 통과한 첫 번째 리스너가 사용됩니다. 지원되는 값은
| 해당 없음 | 미 |
부트스트랩 브로커 검색 인수
이는 autodiscover_strategy 옵션이 bootstrap 로 설정된 경우에만 관련이 있습니다.
' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
BOOTSTRAP_BROKER_HOST | 부트스트랩 브로커의 호스트입니다. If | 해당 없음 | 미 |
BOOTSTRAP_BROKER_KAFKA_PORT | 부트스트랩 브로커용 Kafka 포트. | 해당 없음 | 미 |
BOOTSTRAP_BROKER_KAFKA_PROTOCOL | 부트스트랩 브로커에 연결하는 데 사용할 프로토콜입니다. 지원되는 값은
| 일반 텍스트 | 미 |
BOOTSTRAP_BROKER_JMX_PORT | 클러스터의 각 브로커에서 수집에 사용할 JMX 포트입니다. Note that all discovered brokers should have JMX active on this port | 해당 없음 | 미 |
BOOTSTRAP_BROKER_JMX_USER | 클러스터의 각 브로커에서 수집에 사용할 JMX 사용자입니다. | 해당 없음 | 미 |
BOOTSTRAP_BROKER_JMX_PASSWORD | 클러스터의 각 브로커에서 수집에 사용할 JMX 비밀번호입니다. | 해당 없음 | 미 |
JMX SSL 및 시간 초과 옵션
이는 인스턴스의 모든 JMX 연결에 적용됩니다.
' ' ' ' ' ' ' ' ' ' ' '
환경 | 설명 | 기본값 | 적용 대상 |
|---|---|---|---|
KEY_STORE | JMX 클라이언트의 SSL 인증서를 포함하는 키 저장소의 파일 경로. | 해당 없음 | 미 |
KEY_STORE_PASSWORD | JMX SSL 키 저장소의 비밀번호입니다. | 해당 없음 | 미 |
TRUST_STORE | JMX 서버의 SSL 인증서를 포함하는 신뢰 키 저장소의 파일 경로. | 해당 없음 | 미 |
TRUST_STORE_PASSWORD | JMX 신뢰 저장소의 비밀번호입니다. | 해당 없음 | 미 |
DEFAULT_JMX_USER | 메트릭을 수집하기 위해 JMX 호스트에 연결하는 기본 사용자입니다. JMX 호스트에 대해 사용자 이름 필드가 생략되면 이 값이 사용됩니다. | 관리자 | 미 |
DEFAULT_JMX_PASSWORD | JMX 호스트에 연결하기 위한 기본 비밀번호입니다. JMX 호스트에 대해 비밀번호 필드가 생략되면 이 값이 사용됩니다. | 관리자 | 미 |
TIMEOUT | 개별 JMX 쿼리에 대한 시간 초과(밀리초)입니다. | 10000 | 미 |
문제점 해결
' '