blog.

[카프카인액션] 7장. 토픽과 파티션 | 카프카 로그 | 토픽 컴패션

7.1 토픽사용자 작업 이벤트를 카프카 클러스터로 보내는 웹 기반 애플리케이션을 사용해 교육 수업을 위한 자리를 판매한다고 가정해보자.위치에 대한 초기 검색 이벤트, 고객이 선택한 특정 교육에 대한 이벤트, 확인된 클래스에 대한 세 번째 이벤트가 있을 수 있다.이벤트를 생성하는 애플리케이션이 모든 데이터를 단일 토픽으로 보내야 할까? 아니면 여러 토픽으로 나눠 보내야 할까?각 메시지는 특정 유형의 이벤트인가? 각각 다른 토픽으로 분리되어 있어야 하는가 ? 토픽 설계는 2단계 프로세스로 본다.첫번재는 우리가 가진 이벤트를 본다. 하나의 토픽에 속해 있는가 ? 둘 이상에 속해 있는가?두번째는 각 토픽을 고려한다. 사용해야 하는 파티션의 수는 얼마인가? 가장 중요한 점은 파티션이 토픽별 설계에 대한 질문이지 ..

[kafka] Strimzi Operators | 오퍼레이터 파드 operator pod를 사용해 쿠버네티스에서 카프카 브로커를 설정

오퍼레이터(Operators)는 쿠버네티스 애플리케이션을 패키징, 배포 및 관리하는 방법이다.이는 쿠버네티스 API를 확장하고 특정 애플리케이션과 관련된 관리 작업을 단순화하는 역할을 한다.Strimzi 오퍼레이터는 Kafka 배포와 관련된 작업을 지원한다.Strimzi의 커스텀 리소스(Custom Resources)는 배포 설정을 제공하며,여기에는 Kafka 클러스터, 토픽, 사용자 및 기타 구성 요소에 대한 설정이 포함된다.커스텀 리소스 설정을 활용하여 Strimzi 오퍼레이터는 쿠버네티스 환경 내에서 Kafka 구성 요소를 생성, 구성 및 관리한다. 오퍼레이터를 사용하면 수동 개입이 줄어들고, 쿠버네티스 클러스터 내에서 Kafka를 보다 효율적으로 관리할 수 있다.Strimzi는 쿠버네티스 클러스터..

[카프카인액션] 6장(2) 카프카 모니터링 | 카프카 프로덕션 배포 | 카프카와 쿠버네티스

6.5 카프카 모니터링(엿보기)그라파나 Grafana와 프로메테우스 Prometheus프로메테우스를 사용해 카프카의 메트릭 데이터를 추출하고 저장한다.그런 다음 해당 데이터를 그라파나로 보내 그래픽 뷰를 생성한다.카프카 익스포터 Kafka exporterJMX 매크릭을 받아 프로메테우스 형식으로 내보낸다. 프로메테우스는 이 내보낸 데이터를 수집하여 메트릭 데이터로 저장한다.  6.5.1 클러스터 유지 관리 프로덕션으로 구축할 때 보통 둘 이상의 서버를 구성하려고 한다. 카프카, 커넥트 클라이언트, 스키마 레지스트리, REST 프록시와 같은 시스템은 브로커와 동일한 서버에서 실행되지 않는다.  6.5.2 브로커 추가 작은 클러스터로 시작한다. 클러스터에 카프카 브로커를 추가하려면 고유한 ID로 새 카프카 ..

뉴닉 경제 브리핑 // 2025.02.06https://www.chosun.com/economy/money/2025/02/04/I3LOUTPFDJBVDPFASKZAKI7QEE/ “비트코인 가치 십년 안에 0원 될 것”비트코인 가치 십년 안에 0원 될 것 노벨경제학상 파마 교수 전망www.chosun.com🔍 노벨 경제학상 수상자 유진 파마 교수: "비트코인, 10년 내 0원 될 것"📅 발언 날짜: 2025년 1월 30일🎙 출처: 시카고대 팟캐스트 ‘캐피털리즌트’🔹 주요 내용✔ 비트코인 변동성 심각공급이 제한된 특성상 수요에 의해 가격이 결정, 극심한 가격 변동성실질 가치 유지 불가✔ 가치가 0이 될 확률?"거의 100%"하지만 정확한 시점은 불확실✔ 주요 리스크 요인1️⃣ 51% 공격 → 특정 세..

the new york times // 2025.02.05https://www.nytimes.com/2025/02/04/us/politics/fbi-names-trump-jan-6-lawsuit.html F.B.I. Agents File Suit to Prevent Trump Team From Disclosing Their IdentitiesEmployees who participated in the Jan. 6 investigations contended in two lawsuits that they believed the administration intended to reveal their identities, endangering them and their families.www.nytimes.c..

>   K개발자라고 하면 "한 번쯤 배워야 하나..." 고민하게 되는 언어 중 하나. Java 입문자를 대상으로 공부하기 좋은 책이 나와서 소개한다.  📘 코딩자율학습 자바 입문✍️ 저자: 최원효💰 가격: 23,400원📱 eBook 가격: 18,720원  최원효 개발자 님이 작성 🔏🔹 2022.03.~2023.07. 엔엑스이에프 CTO🔹 2021.02.~2022.03. 펫프렌즈 CTO🔹 2013.08.~2015.09. 네이버 웹 개발자🔹 2006.03.~2013.07. NHN 웹 개발자  현재 아래 블로그를 운영중이시다. 블랙독이야기 (미니비숑참치) : 네이버 블로그안녕하세요. 프로그래머 블랙독 최원효입니다. 스타트업과 IT개발 이야기, 까페, 맛집 등을 다룹니다. 미니비숑참치와 살고 있어..

the new york times // 2025.02.04https://www.nytimes.com/live/2025/02/03/us/trump-tariffs#trump-tariffs-european-union Trump Tariffs Live Updates: Canada Follows Mexico in Reaching Deal for a DelayThe leaders of Mexico and Canada each said they had struck agreements to pause tariffs for 30 days, but levies on products from China were still set to take effect just after midnight.www.nytimes.com🇺?..

머니레터 // 2025.02.03https://n.news.naver.com/mnews/article/009/0005436251?sid=101 “신축에서 살고싶은 꿈, 이젠 포기할까”…아파트 분양가, 매매가 넘어섰다지난해 전국 아파트 평당 분양가 2063만원 같은 기간 평균 매매시세 1918만원 평균 분양가 2015년 대비 2배 이상 상승 수도권 분양가도 15.4%↑ 지난해 전국 아파트 평균 분양 가격이 15년 만에 평균n.news.naver.com 📈 15년 만에 전국 아파트 분양가, 매매가 추월2023년 전국 아파트 평균 분양가격이 3.3㎡당 2,063만 원으로, 평균 매매시세(1,918만 원)보다 145만 원 더 높아졌습니다. 이는 2009년 이후 15년 만의 역전 현상입니다.✔️ 서울 아파트 평..

6.1 브로커 소개 카프카에서는 파티션의 레플키리카가 별도의 렉에 물리적으로 존재하도록 하는 랙 어웨어니스 기능이 있다. 자체 카프카 클러스터를 생성할 때는 또다른 클러스터인 어파치 주키퍼를 알고 있어야 한다.  6.2 주키퍼의 역할 브로커보다 먼저 실행되고 존재해야 한다. 브로커 작동방식에 있어 핵심파트이며 카프카를 실행하기 위한 요구사항이기도 하다.리더 선출 및 클러스터 관리주키퍼는 클러스터 내에서 특정 브로커를 리더로 선출하는 역할을 수행합니다.리더가 장애가 발생하면, 주키퍼가 새로운 리더를 선출하여 Kafka 클러스터가 계속 동작할 수 있도록 보장합니다.최소한의 숫자가 필요함 (쿼럼, Quorum 개념)주키퍼는 리더를 선출하고 결정을 내리기 위해 최소한의 숫자가 필요하다. 쿼럼(Quorum): 클..

카프카인액션 6장 중에..빅데이터 개념에 익숙하거나 이전에 하둡으로 작업해 본 적이 있는 사람들은 카프카를 알아가면서 랙 어웨어니스 rack awareness(머신이 호스트되는 물리적 서버 렉을 인지하는 것)나 파티션 partition 같은 친숙한 용어를 볼 수 있다. 카프카에는 파티션의 에플라카가 별도의 랙에 물리적으로 존재하도록 하는 랙 어웨어니스 기능이 있다.... 자체 카프카 클러스터를 설정할 때는 또 다른 클러스터인 어파치 주키퍼를 알고 있어야 한다.   Kafka rack-awareness1개의 Rack에 다수의 브로커를 집중 하는 것은 위험하다다수의 Rack에 분산하여 브로커 옵션(broker.rack) 설정 및 배치한다파티션 할당 및 레플리케이션 동작시 특정 브로커에 몰리는 현상을 방지한다..