「localGPT」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

localGPTは、ユーザーが自身の文書と対話するためのオープンソースプロジェクトです。このプロジェクトは、全てがローカル環境で実行されるため、データがコンピュータから出ることはありません。このプロジェクトは、HF、GPTQ、GGML、GGUFなどの多様なオープンソースモデルを統合することができ、また、チャット履歴を保存したり、APIを利用したり、GPU、CPU、MPSをサポートしたりしますSource 0。

インストール・導入方法

このプロジェクトをセットアップするためには、以下の手順を実行します：

1. リポジトリをクローンします：

git clone https://github.com/PromtEngineer/localGPT.git

2. 仮想環境を作成し、それをアクティベートします：

conda create -n localGPT python=3.10.0
conda activate localGPT

3. 必要なパッケージをインストールします：

pip install -r requirements.txt

4. LlamaCpp-Pythonを使用してGGMLとGGUFモデルをセットアップします。これは、llama-cpp-pythonのバージョン0.1.76以下が必要です。もし、BLASやMetalを使用したい場合は、適切なフラグを設定します：

# Example: cuBLAS
CMAKE_ARGS="-DLLAMA_CUBLAS=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

# Example: METAL
CMAKE_ARGS="-DLLAMA_METAL=on" FORCE_CMAKE=1 pip install llama-cpp-python==0.1.83 --no-cache-dir

使い方

このプロジェクトを使用するためには、以下の手順を実行します：

1. 文書と対話するために、以下のコマンドを実行します（デフォルトでは、cuda上で実行されます）：

python run_localGPT.py

または、Apple Silicon上で実行したい場合は、以下のコマンドを実行します：

python run_localGPT.py --device_type mps

これにより、取り込みされたベクトルストアとエンボディングモデルがロードされます。プロンプトが表示され、質問を入力できます。回答が生成されると、再度同じスクリプトを実行せずに別の質問を投げることができます。注意：初めて実行するときには、LLM（デフォルトではTheBloke/Llama-2-7b-Chat-GGUF）をダウンロードするためのインターネット接続が必要です。その後、スクリプトの推論はインターネット接続なしでも動作しますSource 0。

2. グラフィカルユーザーインターフェースを実行するには、まずconstants.pyをエディタで開き、選択したLLMを追加します。デフォルトでは、以下のモデルが使用されます：

MODEL_ID = "TheBloke/Llama-2-7b-Chat-GGUF"
MODEL_BASENAME = "llama-2-7b-chat.Q4_K_M.gguf"

次に、