[Kafka Study] 1. 카프카란 무엇인가?

Kafka Study 정리

• kafka, 데이터플랫폼의 최강자 책을 스터디한 내용 정리입니다.

Kafka 의 탄생 배경

대용량, 대규모 메세지 데이터를 빠르게 처리하도록 개발된 메시징 플랫폼

링크드인의 end to end 방식의 복잡한 구조를 개선하기 위해 개발되었다. 아래 그림을 보면 개선전에는 end to end 방식의 mesh 구조의 아키텍처 였다면, kafka 도입 후에는 데이터 파이프라인이 정립된 것을 볼 수 있다.

• 개선전 링크드인 시스템 구조

• Kafka 적용 후 링크드인 시스템 구조

Kafka 의 동작 방식과 원리

kafka 는 일반 메시징 시스템이 지닌 단점을 극복하기 위해 메시지 교환 전달의 신뢰성 관리를 프로듀서와 컨슈머 쪽으로 넘기고, 부하가 많이 걸리는 교환기 기능을 컨슈머가 만들 수 있게 해주었다.

Kafka 의 특징

• 프로듀서와 컨슈머의 분리
• 멀티 프로듀서, 멀티 컨슈머
• 디스크에 메세지 저장
• 확장성
• 높은 성능

Kafka 의 확장과 발전

높은 성능을 바탕으로 일반적인 메세징 플랫폼을 넘어 데이터 파이프라인 플랫폼으로 진화중이다.