컨슈머2 카프카 개념 정리(6) - 카프카 컨슈머의 커밋과 오프셋 관리 이번 시간에는 카프카 컨슈머의 커밋과 오프셋을 어떻게 관리를 하는지에 대해 알아본다. 카프카가 다른 큐 솔루션과 차별화되는 특징은 하나의 토픽에 대해서 여러 용도로 사용할 수 있다는 점이다. 일반적인 큐 솔루션은 특정 컨슈머가 데이터를 가져가게 되면 큐에서 삭제되어 다른 컨슈머가 데이터를 가져갈 수 없는데 카프카는 오프셋이라는 개념을 사용하여 여러 컨슈머가 토픽에서 메시지를 가져올 수 있도록 구현하였다. 카프카 개념 정리(6) - 카프카 컨슈머의 커밋과 오프셋 관리 커밋과 오프셋 관리 커밋과 오프셋 컨슈머가 poll()이라는 함수를 호출할 때 카프카에 저장되어 있는 메시지를 읽어오게 된다. 여기서 중요한 것은 어떤 과정을 통해서 데이터를 가져오는지에 대해서 알아야한다. 먼저 컨슈머 그룹의 컨슈머들은 각각.. 2023. 1. 8. 카프카 개념 정리(5) - 파티션 할당과 리더와 팔로워 선출 ISR 이번 시간에는 컨슈머와 파티션의 개수의 따른 할당 케이스와 그 과정에서 리더와 팔로워를 왜 선출하고 어떤 방식으로 선출되어 사용되는지 정리한다. 추가적으로 ISR(In Sync Replica)에 대한 개념도 정리한다. 카프카 개념 정리(5) - 파티션 할당과 리더와 팔로워 선출 컨슈머와 파티션의 개수의 따른 할당 케이스는? 파티션은 컨슈머 그룹내의 컨슈머와 1:1 또는 n:1매칭이 된다고 했는데 케이스별로 컨슈머가 많을수도 있고 파티션이 더 많을수도 있다. 각 상황별로 어떻게 매칭되는지 알아본다. 파티션 3개와 컨슈머 3개 일때 -> 각각 하나의 컨슈머에 파티션 할당 파티션 2개와 컨슈머 3개 -> 2개의 파티션은 각각 하나의 컨슈머에 할당되고 남은 하나의 컨슈머는 어떤 파티션도 할당받지 못하는 상태 파.. 2022. 12. 31. 이전 1 다음
