Amazon VPC 흐름 로그 모니터링 설정

Amazon Kinesis Data Firehose를 통한 Amazon Virtual Private Cloud Flow(VPC) 로그는 로그를 New Relic으로 보내는 마찰을 줄이는 데 도움이 됩니다. AWS 자산 전체의 VPC 흐름 로그를 사용하면 성능 분석 및 네트워크 연결 문제 해결을 위한 주요 통찰력을 빠르게 이해할 수 있습니다.

Amazon Virtual Private Cloud(VPC)를 사용하면 확장 가능한 AWS 인프라를 사용하여 AWS 리소스를 격리되고 안전한 가상 네트워크로 시작할 수 있습니다.

전제 조건

New Relic 전제 조건

• New Relic 계정. 하나가 없습니까? 무료 가입! 신용 카드가 필요하지 않습니다.

AWS 전제 조건

• 환경:

  • AWS CLI(v 1.9.15+) 설치 .
  • Amazon VPC 흐름 로그를 수집하는 AWS 리전 목록입니다.
  • VPC 흐름 로그를 제공하도록 구성될 VPC ID 입니다. 더 세분화된 제어를 원하면 VPC ID 대신 서브넷 ID 를 지정하십시오.

• 권한:

  • VPC 흐름 로그를 생성할 수 있는 권한이 있는 AWS 사용자.
  • 로그 전송 소유자에 대한 읽기 및 쓰기 권한이 있는 Amazon S3 로그 파일.
  • Kinesis Data Firehose가 IAM 역할을 맡도록 허용합니다.

• Amazon 리소스 이름(ARN) :

  • 전달되지 않은 흐름 로그 메시지를 저장할 수 있는 권한이 있는 S3 버킷의 ARN입니다.

  • 샘플링을 활성화하려면 Lambda의 IAM 역할에 대한 ARN이 필요합니다.

  • S3 버킷 액세스 권한이 있는 Kinesis Data Firehose 의 ARN입니다.

    팁

    특정 지역에 대한 VPC 흐름 로그를 처음 구성할 때 가이드 설치를 통해 새 데이터 Firehose를 생성하는 것이 좋습니다. 동일한 리전의 후속 VPC 및 서브넷의 경우 기존 데이터 Firehose를 재사용할 수 있습니다.

IAM 역할

AWS CLI를 사용하여 흐름 로그 통합을 설정하는 경우 서로 다른 인프라 구성 요소에 대해 하나 또는 두 개의 IAM 역할을 제공해야 합니다. CloudFormation을 사용하는 경우 고유한 역할을 제공하거나 템플릿이 새 역할을 정의하도록 할 수 있습니다.

필요한 역할에는 최소한 다음 권한이 있어야 합니다.

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": [
        "s3:AbortMultipartUpload",
        "s3:GetBucketLocation",
        "s3:GetObject",
        "s3:ListBucket",
        "s3:ListBucketMultipartUploads",
        "s3:PutObject"
      ],
      "Resource": [
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>",
        "arn:aws:s3:::<FIREHOSE_ERRORS_BUCKET>/*"
      ]
    },
    {
      "Sid": "",
      "Effect": "Allow",
      "Action": ["lambda:InvokeFunction", "lambda:GetFunctionConfiguration"],
      "Resource": [
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda",
        "arn:aws:lambda:us-west-2:<YOUR_ACCOUNT>:function:NewRelic-Flow-Sampling-Lambda:*"
      ]
    }
  ]
}

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Action": "logs:CreateLogGroup",
      "Resource": "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:*",
      "Effect": "Allow"
    },
    {
      "Action": ["logs:CreateLogStream", "logs:PutLogEvents"],
      "Resource": [
        "arn:aws:logs:us-west-2:<YOUR_ACCOUNT>:log-group:/aws/lambda/NewRelic-Flow-Sampling-Lambda:*"
      ],
      "Effect": "Allow"
    }
  ]
}

New Relic에서 로그 포맷하기

선별된 흐름 로그 탐색 및 엔터티 연결을 사용하려면 VPC 흐름 로그에 대해 다음 형식을 따라야 합니다.

$
${version} ${account-id} ${region} ${az-id} ${sublocation-type} ${vpc-id} ${subnet-id} ${instance-id} ${interface-id} ${srcaddr} ${pkt-srcaddr} ${pkt-src-aws-service} ${dstaddr} ${pkt-dstaddr} ${pkt-dst-aws-service} ${srcport} ${dstport} ${protocol} ${packets} ${bytes} ${flow-direction} ${traffic-path} ${start} ${end} ${action} ${log-status}

Log_VPC_Flows_AWS라는 VPC 흐름 로그에 로그 파티션을 사용해야 합니다. 안내 설치를사용하는 경우 자동으로 처리됩니다.

New Relic에서 Amazon VPC 흐름 로그 모니터링 설정

안내 마법사를 따라 Amazon VPC 흐름 로그를 설치합니다.

1. guided install process

   을(를) 시작합니다.

2. Select an account

   드롭다운 메뉴에서 Amazon VPC Flow 로그를 보내려는 뉴렐릭 계정을 선택하고

   Continue

   클릭합니다.

3. Select your data

   섹션에서

   Amazon VPC Flow Logs

   선택하고

   Continue

   클릭합니다.

4. Select your install method

   섹션에서

   CLI

   계속 진행하고

   Continue

   클릭합니다.

이 단계가 끝나면 AWS Kinesis Firehose 서비스를 통해 Amazon VPC 흐름 로그를 New Relic으로 전송하도록 설정하는 데 도움이 되는 새 마법사 팝업이 나타납니다.

1. Choose Setup Options 섹션에서:

   • 설정 방법이 올바른지 확인하십시오.

   • VPC 흐름 로그를 New Relic으로 보낼 AWS 리전을 선택합니다.

   • 선택적으로 Kinesis Data Firehose를 재사용하는 경우

     I already have a Kinesis Firehose to New Relic

     확인란을 선택하고

     Define flow logs

     섹션으로 계속 진행합니다.

   • Continue

     을(를) 클릭합니다.

2. Define Kinesis Firehose 섹션에서:

   • Kinesis Firehose Name

     필드에서 생성된 이름이 올바른지 확인하세요.

   • Firehose Backup Bucket

     필드에 전달에 실패한 메시지를 저장하는 데 사용할 S3 버킷의 ARN을 입력합니다. ARN은 arn:my_string 형식을 따라야 합니다.

   • Firehose IAM Role

     필드에 Kinesis Data Firehose에서 사용할 IAM 역할의 ARN을 입력합니다. ARN은 arn:my_string 형식을 따라야 합니다.

   • Continue

     을(를) 클릭합니다.

   • 선택적으로 VPC 흐름 로그를 샘플링하려면

     Use Sampling

     확인란을 선택하고 다음을 수행합니다.

   샘플링 람다 사용

   • 먼저 Define Sampling Lambda 섹션에서 다음을 수행합니다.

     • Lambda Name

       필드에서 Lambda 함수에 대해 생성된 이름이 올바른지 확인하세요. 특정 Lambda 명명 표준이 있는 경우 이름을 편집합니다.

     • Sample Rate

       필드에 적용할 샘플링 레이트를 지정합니다. 기본적으로는 1:10 으로 설정됩니다.

   • 그런 다음 Create Sampling Lambda 섹션에서 Generate CLI Command 클릭하고 다음을 수행합니다.

     • Create your sampling Lambda

       에 대한 코드 블록의 내용을 복사하고 AWS CLI에서 실행합니다.

     • Lambda가 생성되었는지 확인하려면 AWS CLI의 두 번째 단계에서 명령을 실행하십시오.

     • Lambda 함수에 대해 반환된 ARN을 복사하여 arn:my_string 형식으로

       Sampling Lambda ARN

       필드에 붙여넣습니다. 그런 다음

       Continue

       ) 클릭하세요.

     팁

     샘플링은 단순한 카운트 기능이지만 New Relic으로 배송되는 플로우 로그의 양을 줄여줍니다. 이 Lambda 함수를 사용하여 샘플링된 데이터는 New Relic의 특정 대화를 놓칠 수 있습니다. New Relic의 네트워크 모니터링 UI에서 샘플링된 데이터를 나타내는 콜아웃에 주의하십시오.

3. Generate Kinesis Firehose 섹션에서 Generate CLI Command 클릭하고 다음을 수행합니다.

   팁

   이 데이터 수집에 사용할 새 라이선스 키자동으로 생성합니다. 키를 다시 생성하려면 Generate and use a new key 클릭하세요.

   기존 키를 재사용하려면 첫 번째 단계에서 AccessKey 값을 업데이트하세요.

   • Create your Kinesis Data Firehose

     에 대한 코드 블록의 내용을 복사하여 AWS CLI에 붙여넣습니다.

   • Kinesis Firehose가 생성되었는지 확인하려면 AWS CLI의 두 번째 단계에서 명령을 실행합니다. ARN이 반환되지 않으면 30초 동안 기다렸다가 다시 시도하십시오.

   • Kinesis Firehose에 대해 반환된 ARN을 복사하여 arn:my_string 형식으로

     Kinesis Data Firehose ARN

     필드에 붙여넣습니다. 그런 다음

     Continue

     ) 클릭하세요.

   

4. Define Flow Logs 섹션에서 다음을 수행합니다.

   • Traffic Type

     드롭다운 메뉴에서 승인된 항목만 보낼 것인지, 거부된 항목만 보낼 것인지 또는 모든 흐름 로그 항목을 보낼 것인지 선택하세요.

   • Flow Source ID

     필드에 Amazon VPC 흐름 로그를 생성해야 하는 VPC ID(vpc-MY_STRING) 또는 서브넷 ID(subnet-MY_STRING)를 입력합니다.

   • Flow Source Type

     필드가 자동으로 채워지므로

     Continue

     클릭합니다.

5. Create Flow Logs 섹션에서 Generate CLI Command 클릭하고 구문 블록의 콘텐츠를 복사합니다. 그런 다음 AWS CLI에서 이를 실행하여 지정된 리소스에 대한 흐름 로그 생성을 시작합니다.

6. Continue 클릭하여 뉴렐릭의 네트워크 모니터링 섹션에서 Amazon VPC 흐름 로그 탐색을 시작하세요.

7. New Relic에서 네트워크 성능 데이터를 시각화하십시오 .