Kafka 서비스란?

Kafka 서비스는 데이터 스트리밍 플랫폼인 Apache Kafka를 제공하는 클라우드 서비스를 뜻합니다. 

Apache Kafka는 특히 하이브리드 클라우드 환경에서 규모에 따라 배포하기가 복잡합니다. 바로 이러한 이유로 Kafka 서비스를 선택하는 스트리밍 데이터 사용자가 많습니다. 인프라와 시스템 관리의 부담을 서비스 제공업체에 넘길 수 있기 때문입니다.

Apache Kafka는 실시간으로 기록 스트림을 게시, 구독, 저장 및 처리할 수 있는 분산형 오픈소스 데이터 스트리밍 플랫폼입니다. 여러 소스에서 데이터 스트림을 처리하고 여러 사용자에게 전달하도록 설계되었습니다.

방대한 양의 데이터를 처리할 수 있도록 설계된 Apache Kafka는 엔터프라이즈 애플리케이션에 적합한 솔루션입니다. Apache Kafka는 스트리밍 데이터를 관리하기 위해 설계되었으며 빠르고, 수평적으로 확장 가능하며, 내결함성을 갖추고 있습니다.

Apache Kafka는 빅데이터와 관련한 문제를 해결하는 데 적합합니다. IoT와 소셜 미디어와 같은 다양한 데이터 처리 활용 사례에서 데이터는 기하급수적으로 늘어나고 있으며 현재 데이터 볼륨을 기반으로 구축하고 있는 애플리케이션에 빠르게 부담을 가중시킬 수 있습니다.

비동기식 이벤트 기반 통합을 사용하는 경우 마이크로서비스로 작업하는 개발자에게 Apache Kafka는 동기식 통합과 애플리케이션 프로그래밍 인터페이스(API)를 보강해주는 탁월한 옵션입니다.

스트리밍 데이터는 실시간 정보의 지속적인 흐름을 뜻하며, 데이터 세트에서 발생한 변경 사항 또는 이벤트의 실행 로그로 표시되는 경우가 많습니다.

데이터 스트리밍 활용 사례는 금융 거래, 사물인터넷(IoT) 데이터, 병원의 환자 모니터링에 이르기까지 실시간 응답이 필요한 모든 상황이 포함됩니다. 

스트리밍 데이터와 상호작용하는 소프트웨어는 종종 이벤트 기반 아키텍처 모델을 사용하여 데이터가 도착하는 즉시 처리할 수 있습니다.

이벤트 스트리밍 모델이 적용되어 있는 경우 이벤트 소비자는 스트림의 어느 부분에서든 데이터를 읽고, 언제든 스트림에 합류할 수 있습니다. 기본 데이터 스트리밍 이벤트는 키, 값, 타임스탬프를 포함합니다. 데이터 스트리밍 플랫폼은 이벤트와 프로세스를 수집하거나, 이벤트 스트림을 변환하며 이벤트 스트림 프로세싱은 데이터 스트림에서 패턴을 찾는 데 사용될 수 있습니다.

Apache Kafka는 다양한 장점을 갖고 있지만, 하이브리드 클라우드 환경에서 규모에 따라 배포하기가 어려울 수 있습니다. 스트리밍 데이터 서비스는 다른 데이터 애플리케이션보다 요건이 더욱 까다로울 수 있기 때문입니다. 

데이터 스트림은 순차적인 정보를 실시간으로 전달해야 하며, 일관성과 고가용성을 갖추고 있어야 합니다. 스트림의 원시 데이터 양은 급속하게 증가할 수 있으며 스트림은 활동이 많은 시간에도 적절한 데이터 시퀀싱, 데이터 일관성, 가용성의 우선순위를 정해야 합니다. 또한 스트림은 부분적인 시스템 장애가 발생할 경우에 대비한 내구성도 갖추고 있어야 합니다.

분산형 하이브리드 클라우드 환경에서는 스트리밍 데이터 클러스터가 특별히 고려할 사항이 있습니다. Apache Kafka 데이터 브로커는 스테이트풀(Stateful) 상태이며 재시작 시 보존되어야 합니다. 메시징 서비스가 예상대로 작동하고, 기록이 손실되지 않도록 하려면 스케일링 할 때 주의 깊게 오케스트레이션 해야 합니다.

이러한 과제로 인해 대부분의 Apache Kafka 사용자는 관리형 클라우드 서비스를 선택합니다. 그렇게 하면 인프라와 시스템 관리의 부담을 서비스 제공업체에 넘길 수 있기 때문입니다.

Kafka 서비스를 사용했을 때의 장점은 다음과 같습니다.

• 인프라 관리의 부담이 없으므로 팀이 앱 개발과 기타 핵심 역량에 집중할 수 있습니다.
• 팀이 즉시 개발을 시작하고, 새로운 기술을 빠르게 구현할 수 있어 앱 개발 속도가 빨라집니다.
• 추가적인 클라우드 서비스를 위한 대규모 에코시스템이 갖춰져 있어 스트림 기반 애플리케이션의 제공을 간소화할 수 있습니다.
• Kafka 브로커를 분산된 서비스로 연결하는 커넥터로 애플리케이션과 시스템간 스트리밍 데이터를 쉽게 사용하고 공유할 수 있습니다.
• 사용량에 따라 가격이 책정되기 때문에 고객은 필요할 때, 필요한 용량에 대해서만 비용을 지불하면 됩니다.

관리형 쿠버네티스 플랫폼에서 실행되는 Apache Kafka 클러스터는 현장을 비롯한 퍼블릭, 프라이빗 또는 하이브리드 클라우드 전반에 걸쳐 다른 운영 체제를 사용할 수 있습니다.