「Langchain-Chatchat」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

Langchain-Chatchatは、LangchainとChatGLMなどの言語モデルに基づいたローカル知識ベースのQ&Aアプリケーションです。このプロジェクトは、中国のシナリオとオープンソースモデルに対してフレンドリーでオフライン実行可能な知識ベースのQ&Aソリューションを構築することを目指していますSource 0。

インストール・導入方法

1. 環境設定：プロジェクトの要件を満たすために必要なパッケージをインストールします。
2. モデルのダウンロード：プロジェクトが必要とするモデルをダウンロードします。このプロジェクトでは、デフォルトでLLMモデルTHUDM/ChatGLM3-6BとEmbeddingモデルBAAI/bge-large-zhが使用されます。これらのモデルはHuggingFaceからダウンロードできます。ダウンロードにはGit LFSが必要です。以下のコマンドを実行してモデルをダウンロードします：

$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh

3. 知識ベースと設定ファイルの初期化：プロジェクトの初期設定を行います。
4. 一键起動：プロジェクトを起動します。

また、Dockerを使用してプロジェクトを起動することも可能です。以下のコマンドを実行してDockerを起動します：

docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7

使い方

このアプリケーションは、基本的には以下の手順で使用します：

1. 本地の知識ベースに基づいて質問を提出します。
2. アプリケーションは提出された質問を解析し、関連する知識ベースから最適な回答を生成します。
3. 生成された回答を表示または保存します。

また、このアプリケーションは、FastAPIまたはStreamlitのWeb UIを通じてAPI呼び出しサービスを提供し、ユーザーが操作できます。これにより、ユーザーは自分のアプリケーションやツールにこのQ&Aアプリケーションを統合することが可能ですSource 0。