아키텍쳐2 카프카 개념 정리(3) - 카프카 아키텍처 이번 시간에는 카프카에 대해서 좀 더 자세히 알아보는 시간을 가진다. 카프카의 아키텍처에 대해서 이해해본다. 카프카가 어떠한 구조로 이루어져있고 각 구조들이 어떠한 역할을 하는지에 대해서 정리한다. 카프카 개념 정리(3) - 카프카 아키텍처 카프카 아키텍처 카프카는 클러스터를 중심으로 프로듀서와 컨슈머가 데이터를 push하고 pull 받는 구조도 되어 있다. 프로듀서와 컨슈머는 각기 다른 프로세스에서 비동기로 동작을 하고 있다. 이러한 일련의 동작과정을 이해하기 위해서는 먼저 카프카 아키텍쳐를 이루는 구성 요소들을 알아야한다. 넓은 범위에서 부터 정리를 한다. 카프카 클러스터 : 카프카 서버로 이루어진 클러스터 브로커 : 카프카 서버 주키퍼 : 분산 코디네이션 시스템으로 카프카 브로커를 하나의 클러스터로.. 2022. 12. 25. 카프카 개념 정리(1) - 카프카와 카프카의 탄생 배경 카프카에 대한 개념을 정리하는 시간을 가지려 한다. 그 첫번째로 카프카가 무엇인지 간단한 개념과 카프카가 탄생하게 된 배경에 대해서 정리한다. 카프카에 대한 자세한 설명은 (2)에서 정리한다. 카프카 개념 정리(1) - 카프카와 카프카의 탄생 배경 카프카의 탄생 배경 카프카는 소셜 네트워크 서비스인 링크드인에서 처음 출발한 기술이다. 이러한 기술을 고안해낸것은 링크드인의 서비스가 전 세계적으로 인기가 많아짐에 따라 서비스가 점차 커져가는 과정에서 시스템의 구성도가 매우 복잡해지고 있었다. 그에 따른 복잡도 증가로 인하여 데이터 파이프라인의 관리가 어려워졌고 데이터의 신뢰도 마저 낮아질 수 있다는 점에서 복잡도와 데이터 파이프라인의 관리를 쉽게 할 수 있도록 만든 것이 카프카였다. 아래의 구성도를 두장을 .. 2022. 12. 19. 이전 1 다음
