システム間のリアルタイムデータはどう駆け抜けるのか？ ー データ連携を支える「Apache Kafka」と「Kafka Connect」の世界

私たちが日ごろ利用しているさまざまなサービスの裏側では、膨大なデータがリアルタイムに動き続けています。
その流れを支えている技術のひとつがApache Kafkaです。

Apache Kafkaは、ストリーム処理を実現するためのオープンソースの分散型ストリーミングシステムです。
ストリーム処理では、継続的に生成されるデータを逐次処理するため、Kafkaを用いることでリアルタイム処理を容易に実装できます。

また、Kafka ConnectはKafkaと外部システム間のデータ連携を行うためのフレームワークです。
Kafka Connectを利用することで、外部システムとのデータのやり取りをスケーラビリティや耐障害性を確保しながら実現できます。

本セッションでは、Kafka入門編としてKafkaの基礎知識に加え、Kafka Connectについても紹介します。