ビッグデータ処理基盤におけるプログラミング言語に関する四方山話

大規模データを並列分散処理するためのフレームワークである、Apache Hadoopおよびその周辺ミドルウェアにおいて利用されている、プログラミング言語や開発環境に関するトピックを、歴史的経緯を振り返りつつ、紹介します。

ミドルウェア実装で中心的に利用されるJavaおよびScalaやClojureといったJVM言語、高速化やOS固有機能を利用するためのC/C++、CLIや運用ツールのためのPythonやRuby、エンドユーザが利用するDSLやSQL処理系、ノートブックなど、多様なプログラミング言語が交じり合う環境で、採用された経緯、使われなくなった理由、バージョンアップグレードと互換性についての苦悩といった話題を取り上げます。