카프카

kafka와 kafka 아키텍처의 주요 구성 요소Event/Message 전송을 위해 사용된다.장점 : 고가용성, 빠른 처리단점 : 순서보장이 어렵다. 아주 작게 사용이 어렵다.Distributed 나눠서 작업할 수 있다. Pub/sub -> 전달하는 쪽은 전달받은 쪽에 관여할 필요가 없다.Product, Consumber 가 존재한다.Server : Broker, Zookeeper는 Broker간의 분산처리 정보가 관리된다.3개 이상의 Broker 로 구성KSQL, Connector, Kstream 등의 추가 모듈KRaft를 통해 zookeeper 제거할 수 있음(Not Stable) RabbitMQErlang 으로 AMQP를 구현한 Message Broker SystemKafkaProducer -> ..

시작~카프카에 대해 알아보겠다. 카프카는 2011년 LinkedIn에서 개발 되었다. 많은 기업들이 엄청난 양의 데이터를 중복 저장하고 처리량(백만/초)이 걸릴 때 데이터에 대한 실시간 스트림 처리를 수행할 수 있다. 카프카와 관련된 특징을 몇가지 소개해보고자 한다. Apache Kafka는 하루에 수조 개의 이벤트를 처리할 수 있는 분산 스트리밍 플랫폼입니다. Kafka는 짧은 대기 시간, 높은 처리량, 내결함성 게시 및 구독 파이프라인을 제공하고 이벤트 스트림을 처리할 수 있다.1. Distributed분산 시스템(Distributed System)은 여러개 컴퓨터로 나누어서 마치 하나처럼 돌리는것을 의미한다. 마치 end-user에게는 클러스터 위에 하나의 node로 표시된다. 카프카는 서로 다른 ..

카프카 퀵 스타트 해보면서 진행 과정 이슈들을 정리해보려 한다. 1. 카프카 다운로드 https://www.apache.org/dyn/closer.cgi?path=/kafka/3.0.0/kafka_2.13-3.0.0.tgz 여기서 다운받을 수 있다. $ wget https://dlcdn.apache.org/kafka/3.0.0/kafka_2.13-3.0.0.tgz $ tar -xzf kafka_2.13-3.0.0.tgz $ cd kafka_2.13-3.0.0 2. 카프카 환경 설정 NOTE: Your local environment must have Java 8+ installed. 카프카 서버 실행 전에 zookeeper 부터 먼저 동작 시켜야 한다. zookeeper 가 먼저 켜지고 kafka 서버가..

ㅡ. Apache Kafka Apache Kafka는 여러 대의 분산 Server에서 대량의 데이터를 처리하는 분산 메시징 시스템 입니다. 일종에 데이터를 받고 데이터를 다른 장치에 보내는데 사용됩니다. 즉, 카프카는 여러 시스템과 장치를 연결하는 역할을 수행합니다. 과연 데이터를 얼마나 많이 받을 수 있을까요? 카프카는 대량의 데이터에 대한 High-Throughput 과 Real-time을 취급하고 있습니다. 카프카는 여러 이벤트(Activity Event, Network Event etc) 에 대해 받고 이를 Datawarehouse 나 Hadoop 그리고 검색 엔진 등에 전달해주는 역할을 합니다. ㅡ. Apache Kafka History 카프카는 링크드인에서 처음 출발했습니다. 이전에는 메시지 ..