MessageQueue18 Message Queue 처리 구조에 따른 종류 Message Queue, serial process(직렬처리구조) 프로듀서에서 발행한 A,B,C 데이터들을 컨슈머에서 하나씩 데이터를 가져와 (FIFO : first in first out) 순차적으로 처리 한다. Message queue, Parallel(병렬처리 기법 ) 하나의 큐에 여러개의 컨슈머가 할당되어 있는 경우엔 순차적메세지를 가져와 각자 독립적으로 처리가 가능하다. 빠르게 데이터를 소비 하며 시간을 줄일수있다. 확장에 용이 하다. Message Queue , multi consumer(다중컨슈머)Pub/Sub 프로듀서에서 발행한 데이터를 , 여러 컨슈머에서 동시에 받아 볼수있다. 채팅이나, 알림에 사용 할 수 있다. 하나의 메세지를 여러 컨슈머가 동시에 처리하는 것을 말한다. 2023. 6. 2. Event broker 와 Message broker 란? 큐를사용하고 공부하다보면 여러가지 큐가 있다는 사실을 안다. kafka, redis queue,rabbit mq, active mq…. 하지만 이큐들이 어떤 메커니즘으로 어떤 철학을 가지고 생성되었는지 까지는 알지 못했다. 그래서 어느순간 궁금하긴했다. 이 제품들의 차이점이 말이다. 기본적인 차이점들은 대부분 알고들있다. AMPQ 프로토콜을 지원한다. 단순 메모리 큐다, TCP 통신을 이용함으로 대용량에 적합하다. 이렇게는 알고있지만 브로커에대해선 아직 생소하다. 그래서 한번 찾아보기 시작했고 이에대해 정리를 해보았다. 메세지큐에는 여러가지 큐들이 있다. 카프카, 레빗엠큐, 엑티브엠큐, 레디스큐까지 다양하다. 헌데 우린 이 메세지큐들이 좋다는걸 알지만 어떤차이점이 있고 언제 어떻게 적절하게 사용하여야 하.. 2023. 6. 2. docker kafka 보안 설정 docker kafka 보안 설정 카프카사용시 네트워크 정책이나, 보안설정을 하지 않으면 다른곳에서 컨슈머 서버를 기동시 토픽에 들어간 데이터가 어디서 빠져나가는지 확인 할 수 없다. 이때문에 접근제어 컨트롤를 할 수 있도록 셋팅해주어야 한다. 간단하게 먼저 PLAIN SASL 인증 을 사용하여 server.properties 에서 설정을 할수있다. 더강력한 보안을 위해 PLAIN SALS, SSL/TLS 을 사용 할수 있다. 그렇다고 SALS , SSL/TLS 꼭 사용하여야만 하는것은 아니다. PLAIN SALS, SSL/TLS 사용하지 않고도 다음설정으로 외부 접근을 컨트롤 할 수있다. listener.name.plain.authz.allowlist=192.168.1.1,localhost author.. 2023. 5. 31. kafka patitioning 과 replication, ack ISR 의 관계 kafka patitioning 과 replication, ack ISR 의 관계 우리는 카프카를 사용하며 고가용성이다, 안정적이다는 이야기를 하며 사용한다. 어떤부분에 있어서 고가용성과 안정적인 부분이 있는지 알아보자. 카프카를 설치하고 토픽을 생성하며 우리는 replication 갯수, 그리고 partition 의 갯수를 정의하게 된다. 이때 replication 과 partation의 의미를 알아보자. replication-factor 3 --partitions 3 우리는 토픽을 생성하며 보통 이렇게 옵션을 넣는다. replication-factor 3 복제 본수에 대한 3벌 --partitions 3 파티션 3개 위에 설명 그대로 토픽 생성시 파티션 3개를 생성하고 , 토픽에 메세지가 오면 다른 .. 2023. 5. 3. 이전 1 2 3 4 5 다음
