Langchain-Chatchatは、LangchainとChatGLMなどの言語モデルに基づいたローカル知識ベースのQ&Aアプリケーションです。このプロジェクトは、中国のシナリオとオープンソースモデルに対してフレンドリーでオフライン実行可能な知識ベースのQ&Aソリューションを構築することを目指していますSource 0。
インストール・導入方法
- 環境設定：プロジェクトの要件を満たすために必要なパッケージをインストールします。
- モデルのダウンロード：プロジェクトが必要とするモデルをダウンロードします。このプロジェクトでは、デフォルトでLLMモデル
THUDM/ChatGLM3-6BとEmbeddingモデルBAAI/bge-large-zhが使用されます。これらのモデルはHuggingFaceからダウンロードできます。ダウンロードにはGit LFSが必要です。以下のコマンドを実行してモデルをダウンロードします：
$ git lfs install
$ git clone https://huggingface.co/THUDM/chatglm3-6b
$ git clone https://huggingface.co/BAAI/bge-large-zh
- 知識ベースと設定ファイルの初期化：プロジェクトの初期設定を行います。
- 一键起動：プロジェクトを起動します。
また、Dockerを使用してプロジェクトを起動することも可能です。以下のコマンドを実行してDockerを起動します：
docker run -d --gpus all -p 80:8501 registry.cn-beijing.aliyuncs.com/chatchat/chatchat:0.2.7
使い方
このアプリケーションは、基本的には以下の手順で使用します：
- 本地の知識ベースに基づいて質問を提出します。
- アプリケーションは提出された質問を解析し、関連する知識ベースから最適な回答を生成します。
- 生成された回答を表示または保存します。
また、このアプリケーションは、FastAPIまたはStreamlitのWeb UIを通じてAPI呼び出しサービスを提供し、ユーザーが操作できます。これにより、ユーザーは自分のアプリケーションやツールにこのQ&Aアプリケーションを統合することが可能ですSource 0。