GraalVM の多言語実行機能が凄そうだったので試しに Apache Spark に組み込んで動かしてみたけどちょっとまだ早かったかもしれない

Java 仮想マシンである GraalVM には Polyglot と呼ばれる多言語実行機能があり、まだ実験的段階ではあるものの GraalPython という Python インタプリタも存在します。

一方、並列分散処理フレームワークである Apache Spark は Scala/Java で作られていますが、ユーザコードを Python で記述することができる PySpark と呼ばれる機能があります。
と言うことは、PySpark を GraalPython で動かしたらパフォーマンス良くなったりするのでは…

本セッションでは、GraalVM の多言語実行機能 Polyglot と GraalPython の概要について、Spark に GraalPython を組み込んでみた時の話を交えながら紹介します。