일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | 5 | 6 | |
7 | 8 | 9 | 10 | 11 | 12 | 13 |
14 | 15 | 16 | 17 | 18 | 19 | 20 |
21 | 22 | 23 | 24 | 25 | 26 | 27 |
28 | 29 | 30 |
- RabbitMQ
- docker-compose
- spring cloud
- Redis Sentinel
- JPA
- docker
- KAFKA
- cassandra
- netflix oss
- spring boot
- docker compose mysql
- jmeter
- spring boot redis
- MySQL
- ChannelPipeline
- Airflow
- coalesce
- Docker Compose
- grafana
- argo cd
- QueryDSL
- WebLogic
- Hibernate
- redis
- Netty
- vue.js
- weblogic 10
- mybatis
- Selenium
- Spring Open Feign
- Today
- Total
목록MessageQueue (18)
IT.FARMER
큐를사용하고 공부하다보면 여러가지 큐가 있다는 사실을 안다. kafka, redis queue,rabbit mq, active mq…. 하지만 이큐들이 어떤 메커니즘으로 어떤 철학을 가지고 생성되었는지 까지는 알지 못했다. 그래서 어느순간 궁금하긴했다. 이 제품들의 차이점이 말이다. 기본적인 차이점들은 대부분 알고들있다. AMPQ 프로토콜을 지원한다. 단순 메모리 큐다, TCP 통신을 이용함으로 대용량에 적합하다. 이렇게는 알고있지만 브로커에대해선 아직 생소하다. 그래서 한번 찾아보기 시작했고 이에대해 정리를 해보았다. 메세지큐에는 여러가지 큐들이 있다. 카프카, 레빗엠큐, 엑티브엠큐, 레디스큐까지 다양하다. 헌데 우린 이 메세지큐들이 좋다는걸 알지만 어떤차이점이 있고 언제 어떻게 적절하게 사용하여야 하..
docker kafka 보안 설정 카프카사용시 네트워크 정책이나, 보안설정을 하지 않으면 다른곳에서 컨슈머 서버를 기동시 토픽에 들어간 데이터가 어디서 빠져나가는지 확인 할 수 없다. 이때문에 접근제어 컨트롤를 할 수 있도록 셋팅해주어야 한다. 간단하게 먼저 PLAIN SASL 인증 을 사용하여 server.properties 에서 설정을 할수있다. 더강력한 보안을 위해 PLAIN SALS, SSL/TLS 을 사용 할수 있다. 그렇다고 SALS , SSL/TLS 꼭 사용하여야만 하는것은 아니다. PLAIN SALS, SSL/TLS 사용하지 않고도 다음설정으로 외부 접근을 컨트롤 할 수있다. listener.name.plain.authz.allowlist=192.168.1.1,localhost author..
kafka patitioning 과 replication, ack ISR 의 관계 우리는 카프카를 사용하며 고가용성이다, 안정적이다는 이야기를 하며 사용한다. 어떤부분에 있어서 고가용성과 안정적인 부분이 있는지 알아보자. 카프카를 설치하고 토픽을 생성하며 우리는 replication 갯수, 그리고 partition 의 갯수를 정의하게 된다. 이때 replication 과 partation의 의미를 알아보자. replication-factor 3 --partitions 3 우리는 토픽을 생성하며 보통 이렇게 옵션을 넣는다. replication-factor 3 복제 본수에 대한 3벌 --partitions 3 파티션 3개 위에 설명 그대로 토픽 생성시 파티션 3개를 생성하고 , 토픽에 메세지가 오면 다른 ..
2019/03/31 - [MessageQueue/RabbitMQ] - Rabbit MQ 2019/03/31 - [MessageQueue/RabbitMQ] - RabbitMQ 설치 (Centos 6/7) 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ 사용자 추가 명령어 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ WebConsole Rabbit MQ 설치후 WebConsole 을 활성화 해준다. sudo rabbitmq-plugins enable rabbitmq_management 활성화된 Port는 15672 임으로 외부에서 접속시 포트를 개방해 준다. Web Console 접속 https://serverip:15672 ..
2019/03/31 - [MessageQueue/RabbitMQ] - Rabbit MQ 2019/03/31 - [MessageQueue/RabbitMQ] - RabbitMQ 설치 (Centos 6/7) 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ 사용자 추가 명령어 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ WebConsole 접속 계정 생성 및 확인 1. 전체 계정 확인 sudo rabbitmqctl list_users 2. RabbitMQ 사용자 추가( ) sudo rabbitmqctl add_user adteck adteck1! 3. 사용자 테그 설정 sudo rabbitmqctl set_user_tags adt..
2020/05/13 - [MessageQueue/Kafka] - kafka 특징 2020/05/13 - [MessageQueue/Kafka] - kafka 설치 및 clustering 2023.06.09 - [MessageQueue/Kafka] - kafka 설치 (Single mode) 1. kafka 최신 파일 다운로드 kafka는 단독으로 동작되지 않고 zookeeper에 의해 관리 되기 때문에 zookeeper를 함께 설치 하여하 한다. 기본적으로 kafka를 다운받으면 기본적으로 검증된 zookeeper 가 들어 있기때문에 다운 받지 않고 패키지 않에 들어 있는 zookeeper를 사용한다. wget tar -xvzf kafka_2.12-2.2.1.tgz cd kafka_2.12-2.2.1 2...
2020/05/13 - [MessageQueue/Kafka] - kafka 특징 2020/05/13 - [MessageQueue/Kafka] - kafka 설치 및 clustering kafka 란 ? 오픈 메세지 브로커(메세징큐) 실시간 데이터 피드를 관리하기 위해 통일된 높은 스루풋의 낮은 레이턴시를 지닌 플랫폼을 제공하는것이 목표이다. pub-sub 구조 분산 환경에 특화되어 설계 되어 있다. 클러스터 구성, fail-over , replication 과 같은 여러 특징을 가지고 있다. kafka 특징 및 기타 Message Queue 와의 차이점 카프카와 다른 message quque 의 가장큰 차이점은 통신할때 TCP/IP통신을 통해 바로 디스크로 쓴다는 점이다. (Rabbit MQ의 경우 AP..
2019/03/31 - [MessageQueue/RabbitMQ] - Rabbit MQ 2019/03/31 - [MessageQueue/RabbitMQ] - RabbitMQ 설치 (Centos 6/7) 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ 사용자 추가 명령어 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ WebConsole Rabbit MQ 설치 1. Erlang 을 설치 1.1 Epel 저장소 설치. > sudo yum install epel-release # 경로 다운로드 수동 설치 > yum install https://dl.fedoraproject.org/pub/epel/epel-release-latest-..
2019/03/31 - [MessageQueue/RabbitMQ] - Rabbit MQ 2019/03/31 - [MessageQueue/RabbitMQ] - RabbitMQ 설치 (Centos 6/7) 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ 사용자 추가 명령어 2021/01/19 - [MessageQueue/RabbitMQ] - Rabbit MQ WebConsole Rabbit MQ 특징 AMQP 구현 (Advanced Message Queing Protocol) UISO 표준 프로토콜 비동기 처리를 위한 메세지 큐 브로커 분산 처리에 대한 고려 (설정 편의) 고가용성 보장 다양한 플러그인 지원 웹 콘솔 지원 메세지 처리 프로세스 Exchange, Bind..