「TaskMatrix」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

TaskMatrixは、ChatGPTと一連のVisual Foundation Modelsを接続してチャット中に画像を送受信できるようにするツールです。このプロジェクトは、一般的な理解と特定の領域における深い知識を活用して、さまざまなタスクを処理できるAIを構築することを目指していますSource 0。

インストール・導入方法

このプロジェクトをセットアップするための手順は以下の通りです：

1. リポジトリをクローンします：

git clone https://github.com/microsoft/TaskMatrix.git

2. ディレクトリに移動します：

cd visual-chatgpt

3. 新しい環境を作成します：

conda create -n visgpt python=3.8

4. 新しい環境をアクティベートします：

conda activate visgpt

5. 基本環境を準備します：

pip install -r requirements.txt
pip install git+https://github.com/IDEA-Research/GroundingDINO.git
pip install git+https://github.com/facebookresearch/segment-anything.git

6. あなたのプライベートOpenAIキーを準備します（Linuxの場合）：

export OPENAI_API_KEY={Your_Private_Openai_Key}

またはWindowsの場合：

set OPENAI_API_KEY={Your_Private_Openai_Key}

7. TaskMatrixを起動します。GPU/CPUの割り当ては"--load"パラメータを使用して指定できます。このパラメータはどのVisual Foundation Modelを使用し、それをどこにロードするかを示しますSource 0。

使い方

このプロジェクトは非常に直感的です。基本的な操作は以下の通りです：

1. 必要なVisual Foundation Modelsをロードします。例えば、ImageCaptioningをCPUに、Text2Imageをcuda:0にロードしたい場合、以下のようにします：

python visual_chatgpt.py --load ImageCaptioning_cpu,Text2Image_cuda:0

2. チャット中に画像を送受信できます。例えば、画像内の特定のオブジェクトを検出またはセグメント化したい場合、以下のようにします：

find xxx in the image

または

segment xxx in the image

ここで、xxxはオブジェクトを表します。TaskMatrixは検出結果またはセグメンテーション結果を返しますSource 0。

また、TaskMatrixはテンプレートの概念をサポートしています。テンプレートは、複数のFoundation Modelsを含む複雑なタスクを組み立てるのを助ける事前定義された実行フローです。テンプレートは人間が複雑なタスクの実際の解決策を含むことができます。テンプレートは複数のFoundation Modelsを呼び出すことも、さらに新しいChatGPTセッションを確立することもできます。テンプレートを定義するには、