Kafka5 카프카 개념 정리(4) - 카프카는 데이터를 어떻게 저장하고 읽어오는가? 이번 시간에는 카프카에서 데이터를 어떻게 저장하고 읽어오는지에 대해서 정리한다. 카프카 개념 정리(4) - 카프카는 데이터를 어떻게 저장하고 읽어오는가? 데이터를 어떻게 저장하는가? 카프카에서는 데이터를 구분하기 위한 단위로 토픽이라는 용어를 사용하고 이곳에 데이터를 저장한다. 토픽의 이름은 249자 미만의 영문, 숫자, . , _ , - 를 조합하여 만들 수 있으며 여러 서비스에서 공통으로 카프카 클러스터를 사용하게 된다면 토픽명으로 구분을 주는 것이 좋다. 그리고 각 토픽은 1개 이상의 파티션으로 나뉘어지며 프로듀서가 보낸 메시지를 파티션에 분산하여 저장하게 된다. 파티면 마다 메시지가 저장되는 위치를 오프셋이라고 한다. 오프셋의 특징으로는 파티션 내에서 유일하고 순차적으로 증가하는 숫자(정수) 형태.. 2022. 12. 28. 카프카 개념 정리(3) - 카프카 아키텍처 이번 시간에는 카프카에 대해서 좀 더 자세히 알아보는 시간을 가진다. 카프카의 아키텍처에 대해서 이해해본다. 카프카가 어떠한 구조로 이루어져있고 각 구조들이 어떠한 역할을 하는지에 대해서 정리한다. 카프카 개념 정리(3) - 카프카 아키텍처 카프카 아키텍처 카프카는 클러스터를 중심으로 프로듀서와 컨슈머가 데이터를 push하고 pull 받는 구조도 되어 있다. 프로듀서와 컨슈머는 각기 다른 프로세스에서 비동기로 동작을 하고 있다. 이러한 일련의 동작과정을 이해하기 위해서는 먼저 카프카 아키텍쳐를 이루는 구성 요소들을 알아야한다. 넓은 범위에서 부터 정리를 한다. 카프카 클러스터 : 카프카 서버로 이루어진 클러스터 브로커 : 카프카 서버 주키퍼 : 분산 코디네이션 시스템으로 카프카 브로커를 하나의 클러스터로.. 2022. 12. 25. 카프카 개념 정리(2) - 카프카의 동작 방식 Pub Sub 카프카에 대한 개념을 정리하는 시간을 가지려 한다. 그 두번째로 카프카의 동작 방식과 pub / sub 모델의 대한 장단점과 특징 및 메시징 시스템이란 무엇인지에 대해서 정리한다. 카프카 개념 정리(2) - 카프카의 동작 방식 Pub Sub 카프카 동작 방식 카프카는 메시징 서버로 동작한다. 메시징 시스템이란 메시지라고 불리는 데이터 단위를 퍼블리셔 또는 프로듀서에서 카프카에 토픽이라는 각각의 메시지 저장소에 데이터를 저장하면 섭스크라이버 또는 컨슈머가 원하는 토픽에서 데이터를 가져가는 형식을 말하며 이 처럼 중간에 메시징 시스템 서버를 두고 메시지를 보내고 받는 통신을 Pub/Sub 모델이라고 한다. Pub/Sub 모델이란 Pub/Sub 모델은 비동기 메시징 전송 방식으로 발신자의 메시지에는 수신자가 .. 2022. 12. 22. Docker Compose를 통한 Kafka 환경 구성 및 Kafka Manager 구성 (2) 이번 시간에는 추가적으로 Kafka Manager 중 하나인 CMAK 구성 방법과 Docker Desktop을 통한 확인 방법에 대해서 정리한다. 더불어 brew를 통해서 kafka와 zookeeper 서버를 설치하는 명령어도 함께 정리한다. 1편 보러가기 Docker Compose를 통한 Kafka 환경 구성 및 Kafka Manager 구성 (1) docker compose를 통하여 Kafka 환경 설정법에 대해서 정리한다. 추가적으로 Kafka Manager 중 하나인 CMAK 도 함께 구성한다. 첫번째로는 docker-compose 개념과 yml 설정법과 docker-compose 명령어에 대해서 정리 sjparkk-dev1og.tistory.com Docker Compose를 통한 Kafka 환.. 2022. 11. 29. Docker Compose를 통한 Kafka 환경 구성 및 Kafka Manager 구성 (1) docker compose를 통하여 Kafka 환경 설정법에 대해서 정리한다. 추가적으로 Kafka Manager 중 하나인 CMAK 도 함께 구성한다. 첫번째로는 docker-compose 개념과 yml 설정법과 docker-compose 명령어에 대해서 정리한다. Docker Compose를 통한 Kafka 환경 구성 및 Kafka Manager 구성 docker-compose란? 일반적으로 서비스를 제공하는 하나의 시스템은 여러 개의 어플리케이션이 서로 의존성 있게 구성되어 서비스를 제공한다. 이때 하나의 어플리케이션마다 컨테이너가 존재한다고 한다면 각각의 컨테이너를 컨트롤해야하는데 이 상황에서 도커 컴포즈를 이용하면 여려 개의 컨테이너의 실행을 한 번에 관리할 수 있게 도와주어 편리하게 이용할 수.. 2022. 11. 22. 이전 1 다음
