일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- mybatis
- Spring Open Feign
- coalesce
- spring boot
- ChannelPipeline
- docker compose mysql
- docker-compose
- spring boot redis
- Redis Sentinel
- JPA
- Docker Compose
- QueryDSL
- cassandra
- jmeter
- docker
- spring cloud
- Selenium
- Hibernate
- grafana
- netflix oss
- RabbitMQ
- KAFKA
- redis
- WebLogic
- Airflow
- MySQL
- argo cd
- Netty
- vue.js
- weblogic 10
- Today
- Total
목록MessageQueue/Kafka (14)
IT.FARMER
큐를사용하고 공부하다보면 여러가지 큐가 있다는 사실을 안다. kafka, redis queue,rabbit mq, active mq…. 하지만 이큐들이 어떤 메커니즘으로 어떤 철학을 가지고 생성되었는지 까지는 알지 못했다. 그래서 어느순간 궁금하긴했다. 이 제품들의 차이점이 말이다. 기본적인 차이점들은 대부분 알고들있다. AMPQ 프로토콜을 지원한다. 단순 메모리 큐다, TCP 통신을 이용함으로 대용량에 적합하다. 이렇게는 알고있지만 브로커에대해선 아직 생소하다. 그래서 한번 찾아보기 시작했고 이에대해 정리를 해보았다. 메세지큐에는 여러가지 큐들이 있다. 카프카, 레빗엠큐, 엑티브엠큐, 레디스큐까지 다양하다. 헌데 우린 이 메세지큐들이 좋다는걸 알지만 어떤차이점이 있고 언제 어떻게 적절하게 사용하여야 하..
docker kafka 보안 설정 카프카사용시 네트워크 정책이나, 보안설정을 하지 않으면 다른곳에서 컨슈머 서버를 기동시 토픽에 들어간 데이터가 어디서 빠져나가는지 확인 할 수 없다. 이때문에 접근제어 컨트롤를 할 수 있도록 셋팅해주어야 한다. 간단하게 먼저 PLAIN SASL 인증 을 사용하여 server.properties 에서 설정을 할수있다. 더강력한 보안을 위해 PLAIN SALS, SSL/TLS 을 사용 할수 있다. 그렇다고 SALS , SSL/TLS 꼭 사용하여야만 하는것은 아니다. PLAIN SALS, SSL/TLS 사용하지 않고도 다음설정으로 외부 접근을 컨트롤 할 수있다. listener.name.plain.authz.allowlist=192.168.1.1,localhost author..
kafka patitioning 과 replication, ack ISR 의 관계 우리는 카프카를 사용하며 고가용성이다, 안정적이다는 이야기를 하며 사용한다. 어떤부분에 있어서 고가용성과 안정적인 부분이 있는지 알아보자. 카프카를 설치하고 토픽을 생성하며 우리는 replication 갯수, 그리고 partition 의 갯수를 정의하게 된다. 이때 replication 과 partation의 의미를 알아보자. replication-factor 3 --partitions 3 우리는 토픽을 생성하며 보통 이렇게 옵션을 넣는다. replication-factor 3 복제 본수에 대한 3벌 --partitions 3 파티션 3개 위에 설명 그대로 토픽 생성시 파티션 3개를 생성하고 , 토픽에 메세지가 오면 다른 ..
2020/05/13 - [MessageQueue/Kafka] - kafka 특징 2020/05/13 - [MessageQueue/Kafka] - kafka 설치 및 clustering 2023.06.09 - [MessageQueue/Kafka] - kafka 설치 (Single mode) 1. kafka 최신 파일 다운로드 kafka는 단독으로 동작되지 않고 zookeeper에 의해 관리 되기 때문에 zookeeper를 함께 설치 하여하 한다. 기본적으로 kafka를 다운받으면 기본적으로 검증된 zookeeper 가 들어 있기때문에 다운 받지 않고 패키지 않에 들어 있는 zookeeper를 사용한다. wget tar -xvzf kafka_2.12-2.2.1.tgz cd kafka_2.12-2.2.1 2...
2020/05/13 - [MessageQueue/Kafka] - kafka 특징 2020/05/13 - [MessageQueue/Kafka] - kafka 설치 및 clustering kafka 란 ? 오픈 메세지 브로커(메세징큐) 실시간 데이터 피드를 관리하기 위해 통일된 높은 스루풋의 낮은 레이턴시를 지닌 플랫폼을 제공하는것이 목표이다. pub-sub 구조 분산 환경에 특화되어 설계 되어 있다. 클러스터 구성, fail-over , replication 과 같은 여러 특징을 가지고 있다. kafka 특징 및 기타 Message Queue 와의 차이점 카프카와 다른 message quque 의 가장큰 차이점은 통신할때 TCP/IP통신을 통해 바로 디스크로 쓴다는 점이다. (Rabbit MQ의 경우 AP..