「FastChat」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

FastChatは、大規模な言語モデルベースのチャットボットのトレーニング、サービング、評価を行うためのオープンプラットフォームです。FastChatはChatbot Arena（https://chat.lmsys.org/）を運営し、50以上の大規模言語モデル（LLM）による6百万以上のチャットリクエストを処理しています。Arenaでは、サイドバイサイドのLLM戦争から収集した10万以上の人間の投票を元にオンラインのLLM Eloリーダーボードを作成しています。また、最先端のモデル（例えば、Vicuna、MT-Bench）のトレーニングと評価コードを提供しており、Web UIとOpenAI互換のRESTful APIを持つ分散型マルチモデルサービングシステムも提供していますSource 0。

インストール・導入方法

FastChatのインストールとセットアップは以下の手順で行います：

1. リポジトリをクローンします：

git clone https://github.com/lm-sys/FastChat.git
cd FastChat

2. 必要なパッケージをインストールします：

brew install rust cmake
pip3 install --upgrade pip # enable PEP 660 support
pip3 install -e ".[model_worker,webui]"

これらの手順を完了すると、FastChatのセットアップは完了ですSource 0。

使い方

FastChatを使用するためには、まずモデルの重みをダウンロードし、それを使用してチャットを開始します。以下のコマンドを使用して、Hugging Faceのリポジトリから自動的に重みをダウンロードし、チャットを開始できます：

python3 -m fastchat.serve.cli --model-path lmsys/vicuna-7b-v1.5

ここで、lmsys/vicuna-7b-v1.5はダウンロードするモデルのパスです。他のモデルやバージョンの重みを使用するには、このパスを適切なものに置き換えてくださいSource 0。

FastChatは、単一のGPU、複数のGPU、CPUのみ、メタルバックエンド（MacコンピューターのApple SiliconまたはAMD GPU）、Intel XPU（IntelデータセンターとArc A-Series GPU）、Ascend NPU（AMD GPU）で動作します。また、メモリが不足している場合は、8ビット圧縮を有効にすることでメモリ使用量を大幅に削減できますSource 0。

さらに、FastChatはOpenAI互換のAPIとSDKを提供しています。したがって、FastChatはOpenAI APIのローカル置換として使用できますSource 0。