kafka와 kafka 아키텍처의 주요 구성 요소
- Event/Message 전송을 위해 사용된다.
- 장점 : 고가용성, 빠른 처리
- 단점 : 순서보장이 어렵다. 아주 작게 사용이 어렵다.
- Distributed 나눠서 작업할 수 있다.
- Pub/sub -> 전달하는 쪽은 전달받은 쪽에 관여할 필요가 없다.
- Product, Consumber 가 존재한다.
- Server : Broker, Zookeeper는 Broker간의 분산처리 정보가 관리된다.
- 3개 이상의 Broker 로 구성
- KSQL, Connector, Kstream 등의 추가 모듈
- KRaft를 통해 zookeeper 제거할 수 있음(Not Stable)
RabbitMQ
- Erlang 으로 AMQP를 구현한 Message Broker System
- Kafka
- Producer -> Broker -> Partition -> Consumer
- RabbitMq
- Producer -> Exchange -> Binding Rules -> Queue -> Consumer
- RabbitMq는 서비스 단위 통신, 모듈 단위 통신에 어울린다.
- Kafka는 플랫폼 메시지 처리에 유리하다.
kafka objects
- topic : 특정 목적으로 생성된 data 집합
- partition : 하위 폴더, topic 의 하위개념으로 분산을 위해 나누어 처리되는 단위, leader/follower 존재하며 실제 read/write는 리더에서 발생된다.
- replica : leader의 장애를 대응하기 위해 만들어놓는 복사본 follower 라고 불린다.
- ISR(In Sync Replica) : relica의 group을 의미함 리더로 전환될 수 있는 replica partition 의 group이며, leader 가 commit, lag 확인하여 group에서 제외하기도 한다.
- producer : data를 publishing 하는 주체 (client)
- consumer : data를 subscribe 하는 주체(client)
- offset : 책갈피, consumer 가 어디 위치까지 가져갔는지 저장하는 값, Consumer Group 별로 상이
kafka와 zookeeper 의 역할
- zookeeper : clsuter 및 하위요소에 대한 메타정보, Controller 정보, 선출, Broker 정보
- Broker : 실제 data를 받아 저장하고 있다.
- Controller : broker 대장 = 리더 선정, topic 생성, partition 생성, 복제본 관리
Kafka Cluster
- Kafka Cluster
- Instance - Kafka Broker - topic
- Zookeeper ensemble
- Instance - zookeeper - meta