PostgreSQLとArrowとGPUで楽々大量データ処理

特にIoT/M2M領域で顕著ですが、時々刻々生成される大量データの処理に際して、データの検索・集計処理に要する時間と同じくらい、他所で生成されたデータのインポートというのも大きな問題です。

ビッグデータ処理の領域では、列形式の構造化データ形式であるApache Arrowの利用が進んでおり、PostgreSQLにおいてもArrow_Fdwを介してこれを読み書きする事ができます。つまり言い換えれば、Apache Arrowを介してデータ交換を行う事により、大量データをデータベースにインポートする事なく、即、検索・集計処理を実行できるようになるのです。

本セッションでは、Apache Arrowを特徴とPostgreSQLからの利用、GPU処理を含む高速化技術について説明すると共に、PG-Strom v3.0のリリース以降の様々なアップデートについてもご紹介します。