큐2 카프카 개념 정리(6) - 카프카 컨슈머의 커밋과 오프셋 관리 이번 시간에는 카프카 컨슈머의 커밋과 오프셋을 어떻게 관리를 하는지에 대해 알아본다. 카프카가 다른 큐 솔루션과 차별화되는 특징은 하나의 토픽에 대해서 여러 용도로 사용할 수 있다는 점이다. 일반적인 큐 솔루션은 특정 컨슈머가 데이터를 가져가게 되면 큐에서 삭제되어 다른 컨슈머가 데이터를 가져갈 수 없는데 카프카는 오프셋이라는 개념을 사용하여 여러 컨슈머가 토픽에서 메시지를 가져올 수 있도록 구현하였다. 카프카 개념 정리(6) - 카프카 컨슈머의 커밋과 오프셋 관리 커밋과 오프셋 관리 커밋과 오프셋 컨슈머가 poll()이라는 함수를 호출할 때 카프카에 저장되어 있는 메시지를 읽어오게 된다. 여기서 중요한 것은 어떤 과정을 통해서 데이터를 가져오는지에 대해서 알아야한다. 먼저 컨슈머 그룹의 컨슈머들은 각각.. 2023. 1. 8. 카프카 개념 정리(1) - 카프카와 카프카의 탄생 배경 카프카에 대한 개념을 정리하는 시간을 가지려 한다. 그 첫번째로 카프카가 무엇인지 간단한 개념과 카프카가 탄생하게 된 배경에 대해서 정리한다. 카프카에 대한 자세한 설명은 (2)에서 정리한다. 카프카 개념 정리(1) - 카프카와 카프카의 탄생 배경 카프카의 탄생 배경 카프카는 소셜 네트워크 서비스인 링크드인에서 처음 출발한 기술이다. 이러한 기술을 고안해낸것은 링크드인의 서비스가 전 세계적으로 인기가 많아짐에 따라 서비스가 점차 커져가는 과정에서 시스템의 구성도가 매우 복잡해지고 있었다. 그에 따른 복잡도 증가로 인하여 데이터 파이프라인의 관리가 어려워졌고 데이터의 신뢰도 마저 낮아질 수 있다는 점에서 복잡도와 데이터 파이프라인의 관리를 쉽게 할 수 있도록 만든 것이 카프카였다. 아래의 구성도를 두장을 .. 2022. 12. 19. 이전 1 다음
