ストリーム処理はデータを失うから怖い？それ、何とかできますよ！ 〜Apache Kafkaを用いたストリーム処理における送達保証〜

データの生成/受信のたびに都度処理を行うストリーム処理の利用が広がっています。

一方でストリーム処理ではその特性上データの欠損が発生しやすいことも知られており、これがストリーム処理の採用を忌避する理由となる場合もあると聞きます。

ストリーム処理の領域でデファクトスタンダードとして利用される分散メッセージングシステムのApache Kafkaにはデータの欠損を防ぐ機構が含まれ、こうした悩みを解決してくれます。

本セッションではデータ欠損の発生理由、それを防ぐためのApache Kafkaの機構、その内部挙動まで一気に紹介します。