[AWS] [활용] MSK
1) Kafka 란?
- 생산자와 소비자의 버퍼역할 (키네시스와 유사)
- 실시간 스트리밍 데이터 파이프라인 구축시 용이
- 실시간 어플리케이션 지원
- 주키퍼 : 중앙관리
2) 카프카 클러스터 생성 : KafkaClusterTest
- VPC 선택
- AZ 및 서브넷 지정
: 카프카용 서브넷 3개 권장
: 카프카 브로커 배포위치 지정
- 스펙 지정
3) 카프카 클라이언트 생성
- IAM --> 정책 --> MSK Full Access 확인
--> 역할 --> MSKEC2 생성 및 정책 삽입
- EC2생성 --> IAM role 삽입 --> MSKEC2
- aws --version (1.16이상 필요 - 리눅스 기준)
===========================================
===========================================
## MSK 클러스터 생성
===========================================
## MSK Kafka 클라이언트 생성
- MSK 정책 확인
- MSK 역할 생성
- MSK Client EC2에 IAM role 삽입
- aws --version 확인
1 AWS MSK - Architecture Diagram, Use Case and Pricing
https://www.youtube.com/watch?v=uM-JbL0-u1A&list=PL0hSJrxggIQruwnfz5MMJwu8xF4w77AbS&index=1
2 AWS MSK - Create a network for hosting brokers
https://www.youtube.com/watch?v=EayAoFzxg34&list=PL0hSJrxggIQruwnfz5MMJwu8xF4w77AbS&index=2
3 AWS MSK - Create Kafka Cluster using MSK
https://www.youtube.com/watch?v=kAjqDl2_u9Y
4 AWS MSK - MSK Kafka 클러스터에 연결할 Kafka 클라이언트 생성
https://www.youtube.com/watch?v=v_vBg6VP7fI