Javaアップグレードに関する苦労話: Hadoopとそのディストリビューション(Bigtop)の場合

Apache Hadoopによる大規模データ処理では、柔軟かつ高度にデータ処理を実装可能なSparkや、分散KVSに相当するHBaseなど、様々なミドルウェアを組み合わせて利用します。Apache Bigtopは、これらのHadoopエコシステムと呼ばれる製品群を組み合わせてパッケージングするプロジェクトです。

本講演では、Bigtopの取り組みや、関連する開発コミュニティの動向を、ミドルウェア/スタックの維持に関する苦労話などを交えてご紹介します。先日リリースされたHadoop 3.5.0では、Java 8からJava 17への移行が、5年以上の時間をかけて実現されましたが、なぜJavaのバージョンアップがそんなに難しかったのかという話題に、特にスポットを当てます。