セッション概要
生成AIを業務や研究で使いたいのに、社内資料や顧客情報、研究データはクラウドのサービスに入力できない。そんな理由で導入が止まっている組織は少なくありません。 本セッションでは、手元のGPUマシンにvLLMを立てて、チームや研究室のメンバーが共同利用できるローカル推論基盤の作り方を紹介します。
講師
平山裕也
セッション情報
- 担当:
- さくらインターネット株式会社
- レベル:
- 入門編
- 対象者:
- 社内や研究室で生成AIを使いたいが、データを外部のサービスに出せない方。組織でローカルLLMの環境を構築したい方。
- 前提知識:
- Linuxのコマンド操作ができる程度。生成AIを使ったことがあれば、vLLMやGPUの知識は必要ありません。