セッション概要

生成AIを業務や研究で使いたいのに、社内資料や顧客情報、研究データはクラウドのサービスに入力できない。そんな理由で導入が止まっている組織は少なくありません。 本セッションでは、手元のGPUマシンにvLLMを立てて、チームや研究室のメンバーが共同利用できるローカル推論基盤の作り方を紹介します。

講師

平山裕也

平山裕也

セッション情報

担当:
さくらインターネット株式会社
レベル:
入門編
対象者:
社内や研究室で生成AIを使いたいが、データを外部のサービスに出せない方。組織でローカルLLMの環境を構築したい方。
前提知識:
Linuxのコマンド操作ができる程度。生成AIを使ったことがあれば、vLLMやGPUの知識は必要ありません。