본문 바로가기

전체 글425

Kafka LISTENER 속성 카프카 속성중 KAFKA_LISTENERS,KAFKA_ADVERTISE_LISTENERS에 대해 알아 보자.카프카에서는 “LINSTNERS”를 제공하고 있다.보통 Spring boot와 같은 client(kafka client)를 이용하게 되며, 클라이언트안의 “bootstrapservers” 항목에 적혀있는 서버 정보를 보고 kafka 서버에 최초 접근한다.이후 클라이언트는 *kafka 측으로 메타정보 요청을 하고 응답을 수신 받았을때 *“KAFKA_ADVERTISER_LISTENER” 에 적혀 있는 주소를 보고 어떤 브로커에 접속해야 할지 알게되며 이것을 기반으로 클라이언트는 접근 요청을 보낸다.다이어그램으로 보면 다음과 같다. 클라이언트는 bootstraps 정보를 보고 브로커에 접속하여 메타데이터.. 2025. 10. 27.
Spring boot KEDA 예제 keda란?kubenetes base event driven autoscaler로 외부로 부터 다양한 이벤트를 받아 애플리케이션 파드들을 오토스케일링하기 위한 목적으로 개발된 경량의 쿠버네티스 컴포넌트 입니다.https://keda.sh/ 왜 그리고 언제 사용하나요?이번 예제에서는 KEDA를 사용하여 이벤트가 많이 발생되었을때 Kafka의 leg 부분을 모니터링 하고 우리가 지정한 leg 범위까지 늘어 졌을때 keda가 어떻게 잘 동작되는지 알아 보려 합니다.그럼왜? HPA를 안쓰고 KEDA를 사용하나요!?HPA로 늘어난 CPU 및 메모리 리소스의 사용량 대해서 스케일업이 가능하게 구성 할 수도 있으나, 이는 위에 언급한 요청량에 의한 모니터링은 불가능합니다.만약 갑자기 많은 요청에 의해 Kafka To.. 2025. 10. 12.
helm으로 argo cd install (nginx ingress 사용) 설치 준비Helm 설치helm이 설치되어 있는지 확인하자helm은 rancher desktop을 설치할때 같이 설치 된다.brew install helmHelm version 확인➜ ~ helm versionversion.BuildInfo{Version:"v3.18.6", GitCommit:"b76a950f6835474e0906b96c9ec68a2eff3a6430", GitTreeState:"clean", GoVersion:"go1.24.6"}k8s namespace 추가namespace : kafka-eda➜ ~ kubectl create namespace kafka-edanamespace/kafka-eda created생성된 네임스페이스 확인➜ ~ kubectl get nsNAME .. 2025. 10. 11.
docker desktop 에서 rancher desktop로 kubenetes certificate signed by unknown authority docker desktop 에서 rancher로 변경후 kubectl 명령어를 실행시 오류바 발생했다. ~ kubectl versionClient Version: v1.34.0Kustomize Version: v5.7.1Unable to connect to the server: tls: failed to verify certificate: x509: certificate signed by unknown authority➜ ~ kubectl get nodesUnable to connect to the server: tls: failed to verify certificate: x509: certificate signed by unknown authority인증서가 잘못되었다. 즉 신뢰 할수 없다는 경고문.. 2025. 10. 10.
loki logback appender 란? loki logback appender란?opentelemetry logback appender는 https://opentelemetry.io/docs/zero-code/java/spring-boot-starter/out-of-the-box-instrumentation/ Open Source 재단에서 만들고 제공하는 라이브러리로 중앙 집중형태의 collector 만들때 사용한다고 언급하였다. 오늘 알아볼 loki logback appender 는 여기서 확인 할 수 있다.https://loki4j.github.io/loki-logback-appender/ Loki4j Logback · Pure Java Logback appender for Grafana LokiPure Java Logback append.. 2025. 9. 10.
opentelemetry logback appender opentelemetry logback appender우리는 로그를 확인하기위해 System.out.print 명령어를 이용하여 로그를 확인하였다. 하지만 시간이 흐름에 따라 콘솔기록 뿐만 아니라 파일로 기록을 남기기 위해 common-log 부터 log4j 까지 그리고 지금은 logback, slf4j 을 사용한다.모놀리틱 환경에서 분산서비스(MSA) 환경에 접어 들면서 로그를 한곳에서 모아보거나 흩어져있는 로그들을 취합하고 추적하기 위한 기술들이 사용되게 되는데 그중에 한가지를 소개한다.opentelemetry-logback-appender 라는 모듈이다. 아직 정식버전은 아니고 -alpha 버전만 존재한다.“다운로드 링크” →https://mvnrepository.com/artifact/io.ope.. 2025. 9. 3.
matric / trace micrometer, OTLP 라이브러리 설명 서버에서 트레이싱과 메트릭 수집을 하기 위해서는 micromiter를 사용하여 cpu, 메모리 http 요청(count) 에대한 매트리글 수집하고, otpl 라이브러리를 사용하여 grabal MDC tracd id , span id 등을 생성하고 관리 할 수. 있다.matric 수집micrometer-registry-otlp메트릭 전송도구로 OTLP 프로토콜을 사용한다.cpu, 메모리, http요청수 응답시간 등의 수치데이터를Prometheus 대신 otlp로 메트릭을 보내고 싶을때 사용한다.micrometer-registry-prometheus메트릭 전송도구로 Prometheus 포멧이다.위와 동일한 메트릭 수치데이터를 Prometheus 엔드포인트 (/actuator/prometheus)로 노출한다... 2025. 9. 3.
zipkin , jaeger, grafana tempo 특징 모두 분산추적(트레킹)시스템이다. 각각이 모두 장단점을 가지고 있으며, 이에 대해 알아 보자. 1. Jaeger예거는 분산 추적 시스템으로 유명하며, 중대형시스템에서 자주 사용된다. 학습곡선이 높지만 설정할수 있는 기능들이 많고 데이터 보관 및 확장성에 용의 하다.OpenTracing 의 네이티브 구현으로 표준을 지원하는 프레임웍들과 쉽게 통합 할 수있다. (ex grafana 연동 등)저장소 고급기능Cassandra적응형 샘플링Elasticsearch추적집계 종속성 그래프 시각화중대형 시스템에 적합한 트레이싱 도구로 저장 및 처리시 많은 컴퓨팅 자원이 소모될 수 있으며, 복잡한 설정으로 학습곡선이 높다.2. Zipkin경량화된 트레킹시스템으로 보통 중소형 시스템에서 자주 채택하는 아키텍처로 사용된다... 2025. 7. 30.
Observability & Open Telemetry 전파전략 전파 전략Open Tracing 의 전파 전략에 대해 알아보겠습니다. 오픈트레이싱에서 선택할수 있는 방법은 두가지가 있습니다. 이전 Brave모드와, W3C Trace Context 스팩입니다. W3C Trace Contexttraceparent: {version}-{trace-id}-{parent-id}-{trace-flags}traceparent (필수)트레이스 구조 표현versiontrace IDspan IDtrace flagesversion 2자리 현재 버전정보trace-id32자리전체 트레이스를 식별하는 IDparent-id16자리현재 요청의 상위 span Idtrace-flasgs2자리샘플링 정보 (01: 샘플링 OK, 00: 샘플링 NO )traceparent: 00-4bf92f3577b.. 2025. 7. 30.

티스토리툴바