Apache Spark のログ解析に苦しむ人々へ届けたい　〜 AIによるボトルネック診断と Apache Iceberg での蓄積と再利用 〜

Apache Sparkのログ解析では、Jobs、Stages、SQL、Executorsなど多くの観点を横断して確認する必要があり、原因特定には専門的な知識と経験が求められます。

本発表では、Spark History Serverの実行情報をAIで解析し、その結果を蓄積・再利用することで、デバッグや性能調査にかかる負担を軽減する仕組みを検証します。MCPを用いたアプローチを交えながら、AIによるSpark運用支援の可能性を紹介します。