SUB3 카프카 개념 정리(4) - 카프카는 데이터를 어떻게 저장하고 읽어오는가? 이번 시간에는 카프카에서 데이터를 어떻게 저장하고 읽어오는지에 대해서 정리한다. 카프카 개념 정리(4) - 카프카는 데이터를 어떻게 저장하고 읽어오는가? 데이터를 어떻게 저장하는가? 카프카에서는 데이터를 구분하기 위한 단위로 토픽이라는 용어를 사용하고 이곳에 데이터를 저장한다. 토픽의 이름은 249자 미만의 영문, 숫자, . , _ , - 를 조합하여 만들 수 있으며 여러 서비스에서 공통으로 카프카 클러스터를 사용하게 된다면 토픽명으로 구분을 주는 것이 좋다. 그리고 각 토픽은 1개 이상의 파티션으로 나뉘어지며 프로듀서가 보낸 메시지를 파티션에 분산하여 저장하게 된다. 파티면 마다 메시지가 저장되는 위치를 오프셋이라고 한다. 오프셋의 특징으로는 파티션 내에서 유일하고 순차적으로 증가하는 숫자(정수) 형태.. 2022. 12. 28. 카프카 개념 정리(3) - 카프카 아키텍처 이번 시간에는 카프카에 대해서 좀 더 자세히 알아보는 시간을 가진다. 카프카의 아키텍처에 대해서 이해해본다. 카프카가 어떠한 구조로 이루어져있고 각 구조들이 어떠한 역할을 하는지에 대해서 정리한다. 카프카 개념 정리(3) - 카프카 아키텍처 카프카 아키텍처 카프카는 클러스터를 중심으로 프로듀서와 컨슈머가 데이터를 push하고 pull 받는 구조도 되어 있다. 프로듀서와 컨슈머는 각기 다른 프로세스에서 비동기로 동작을 하고 있다. 이러한 일련의 동작과정을 이해하기 위해서는 먼저 카프카 아키텍쳐를 이루는 구성 요소들을 알아야한다. 넓은 범위에서 부터 정리를 한다. 카프카 클러스터 : 카프카 서버로 이루어진 클러스터 브로커 : 카프카 서버 주키퍼 : 분산 코디네이션 시스템으로 카프카 브로커를 하나의 클러스터로.. 2022. 12. 25. 카프카 개념 정리(2) - 카프카의 동작 방식 Pub Sub 카프카에 대한 개념을 정리하는 시간을 가지려 한다. 그 두번째로 카프카의 동작 방식과 pub / sub 모델의 대한 장단점과 특징 및 메시징 시스템이란 무엇인지에 대해서 정리한다. 카프카 개념 정리(2) - 카프카의 동작 방식 Pub Sub 카프카 동작 방식 카프카는 메시징 서버로 동작한다. 메시징 시스템이란 메시지라고 불리는 데이터 단위를 퍼블리셔 또는 프로듀서에서 카프카에 토픽이라는 각각의 메시지 저장소에 데이터를 저장하면 섭스크라이버 또는 컨슈머가 원하는 토픽에서 데이터를 가져가는 형식을 말하며 이 처럼 중간에 메시징 시스템 서버를 두고 메시지를 보내고 받는 통신을 Pub/Sub 모델이라고 한다. Pub/Sub 모델이란 Pub/Sub 모델은 비동기 메시징 전송 방식으로 발신자의 메시지에는 수신자가 .. 2022. 12. 22. 이전 1 다음
