본문 바로가기

MessageQueue18

kafka 설치 (Single mode) 2020.05.13 - [MessageQueue/Kafka] - kafka cluster 구성 kafka 설치 (Single mode) 1. kafka 최신 파일 다운로드 💡 kafka는 단독으로 동작되지 않고 zookeeper에 의해 관리 되기 때문에 zookeeper를 함께 설치 하여하 한다. 기본적으로 kafka를 다운받으면 기본적으로 검증된 zookeeper 가 들어 있기때문에 다운 받지 않고 패키지 않에 들어 있는 zookeeper를 사용한다. wget --2021-03-18 15:37:56-- Resolving downloads.apache.org (downloads.apache.org)... 88.99.95.219, 2a01:4f8:10a:201a::2 Connecting to downloa.. 2023. 6. 9.
브로커? 파티션과, 리플리케이션, ISR 이란? 브로커? 파티션과, 리플리케이션, ISR 이란? 브로커란 kafka가 설치된 물리적 서버를 칭한다. 파티션과 리플리케이션은 토픽 생성시에 정하게 된다. 브로거카 3대 라고 생각하면 1:1, 1:2, 1:3 과 같이 파티션갯수, 리플리케이션 팩터를 지정 할 수있다. 토픽을 이렇게 생성하게 되면 브로커에서 다음과 같이 구성된다. partition : 3, replication fector :1 partition : 3, replication fector :2 partition : 3, replication fector :3 위의 그림들을 보면 선언한것 처럼 partition 은 각 노드별로 1번만 사용하며, 복제는 1,2,3 으로 지정한 것을 사용 할 수있다. ISR(In Sync Replica) 이란 이처.. 2023. 6. 9.
kafka partitioner 란? (producer, consumer) kafka partitioner 란? (producer, consumer) 카프카에는 파티셔너에서 선택할수있는 몇 가지 전략이 존재한다. 이는 파티셔너에서 파니션으로 데이터를 분배해주게 되는데, 이때 어떤 방식으로 파티션에 분배할지에 대한 선택이다. 먼저 프로듀서가 무엇인지 부터 알아보자. 카프카의 프로듀서란 ? 카프카에서 프로듀서란 데이터를 생성해서 카프카 클러스터에 데이터를 보내어 큐에 쌓게 하는 역활을 한다. 프로듀셔는 카프카로 데이터를 전송할때 내부적으로 직렬화 → 분할→ 압축 단계를 거처 Accumulator 공간에 쌓여 있다가 Batch 형태로 브로커에 전송된다. 전체 적인 그림으로 보면 다음과같다. ProducerRecode 라는 클레스로 프로듀서를 만들어 send() 메세지를 보내면 첫째 .. 2023. 6. 8.
kafka ack mode 란? kafka ack mode 란? 카프카에는 ack 모드라는것이 있다. acknowledgment의 약어이다. (어렵다..) 이 ack 모드는 메세지를 성공적으로 처리했는지 kafka 에게 알리는 방식을 말한다. 방식에는 다음과 같이 세가지 방식이 있다. ack=0, ack=1, ack=all 이 모드들은 메세지의 송수신방식에 대한 설정이다. kafka는 메세지의 송신과 수신을 보장하기 위해 Producer 가 메세지를 송신할때 Broker가 메세지를 수신하고, Consumer가 Broker 에서 메세지를 수신할때까지 기다리는 방식을 사용한다. 쉽게 말해 ack mode란 ? Producer가 kafka의 broker 로 메세지를 보내게 되는데, producer 가 보낸 메세지를 kafka가 잘 받았는가?.. 2023. 6. 8.
728x90

티스토리툴바