카프카 주요 요소

kafka와 kafka 아키텍처의 주요 구성 요소

• Event/Message 전송을 위해 사용된다.
• 장점 : 고가용성, 빠른 처리
• 단점 : 순서보장이 어렵다. 아주 작게 사용이 어렵다.
• Distributed 나눠서 작업할 수 있다. 
• Pub/sub -> 전달하는 쪽은 전달받은 쪽에 관여할 필요가 없다.
• Product, Consumber 가 존재한다.
• Server : Broker, Zookeeper는 Broker간의 분산처리 정보가 관리된다.
• 3개 이상의 Broker 로 구성
• KSQL, Connector, Kstream 등의 추가 모듈
• KRaft를 통해 zookeeper 제거할 수 있음(Not Stable)

 RabbitMQ

• Erlang 으로 AMQP를 구현한 Message Broker System
• Kafka
  • Producer -> Broker -> Partition -> Consumer
• RabbitMq
  • Producer -> Exchange -> Binding Rules -> Queue -> Consumer
• RabbitMq는 서비스 단위 통신, 모듈 단위 통신에 어울린다.
• Kafka는 플랫폼 메시지 처리에 유리하다. 

kafka objects

• topic : 특정 목적으로 생성된 data 집합
• partition : 하위 폴더, topic 의 하위개념으로 분산을 위해 나누어 처리되는 단위, leader/follower 존재하며 실제 read/write는 리더에서 발생된다.
• replica : leader의 장애를 대응하기 위해 만들어놓는 복사본 follower 라고 불린다.
  • ISR(In Sync Replica) : relica의 group을 의미함 리더로 전환될 수 있는 replica partition 의 group이며, leader 가 commit, lag 확인하여 group에서 제외하기도 한다.
• producer : data를 publishing 하는 주체 (client)
• consumer : data를 subscribe 하는 주체(client)
• offset : 책갈피, consumer 가 어디 위치까지 가져갔는지 저장하는 값, Consumer Group 별로 상이

kafka와 zookeeper 의 역할

• zookeeper : clsuter 및 하위요소에 대한 메타정보, Controller 정보, 선출, Broker 정보
• Broker : 실제 data를 받아 저장하고 있다.
• Controller : broker 대장 = 리더 선정, topic 생성, partition 생성, 복제본 관리

Kafka Cluster

• Kafka Cluster
  
  • Instance - Kafka Broker - topic

• Zookeeper ensemble
  • Instance - zookeeper - meta

• Kafka Manager H/A
  • Instance - Kafka Manager