「MiniGPT-4」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

MiniGPT-4は、大規模言語モデルを用いてビジョンと言語の理解を向上させるためのプロジェクトです。このプロジェクトは、ビジョンと言語の多任務学習のための一元的なインターフェースとして機能する大規模言語モデルを提供します。また、MiniGPT-v2も同様に提供されており、これらのモデルはHugging FaceのスペースからダウンロードすることができますSource 0。

インストール・導入方法

MiniGPT-4のセットアップは以下の手順で行います：

1. リポジトリをクローンし、Python環境を作成し、それをアクティベートします：

git clone https://github.com/Vision-CAIR/MiniGPT-4.git
cd MiniGPT-4
conda env create -f environment.yml
conda activate minigptv

2. それぞれのモデルに対応する大規模言語モデルの重みをダウンロードします。これは、Hugging Faceのスペースからリポジトリをクローンすることで行いますSource 0。

3. モデルの設定ファイルでllama_model変数をLLMの重みパスに設定します。また、評価設定ファイルで事前学習チェックポイントへのパスを設定しますSource 0。

使い方

MiniGPT-4をローカルで実行するには、以下のコマンドを使用します：

• MiniGPT-v2の場合：

  python demo_v2.py --cfg-path eval_configs/minigptv2_eval.yaml --gpu-id 0
  

• MiniGPT-4の場合：

  python demo.py --cfg-path eval_configs/minigpt4_eval.yaml --gpu-id 0
  

また、GPUメモリを節約するために、LLMはデフォルトで8ビットでロードされ、ビーム検索の幅が1に設定されています。この設定では、13BのLLMには約23GBのGPUメモリが必要で、7BのLLMには約11.5GBのGPUメモリが必要です。より強力なGPUを使用している場合は、関連する設定ファイルのlow_resourceをFalseに設定することで、16ビットでモデルを実行することができますSource 0。