- Published on
「MOSS」のインストール・使い方
- Authors
- Name
- 章 有坂
- short bio
- オープンソースソフトウェアのトレンドを追いかけてます。
MOSSは、Fudan Universityからのオープンソースツール強化会話型言語モデルです。このモデルは中英双語をサポートし、様々なプラグインを利用することができます。MOSS-moonシリーズのモデルは160億パラメータを持ち、FP16精度ではシングルのA100/A800または2つの3090 GPUで実行でき、INT4/8精度ではシングルの3090 GPUで実行できます。MOSSベースモデルは約7000億の中英文およびコードワードで事前訓練され、後続の会話指令の微調、プラグインの増強学習、人間の偏好訓練により多轮会話能力と様々なプラグインの使用能力を持つようになっていますSource 0。
インストール・導入方法
以下の手順でMOSSをインストールしてセットアップできます：
- リポジトリをローカルまたはリモートサーバーにクローンします：
git clone https://github.com/OpenLMLab/MOSS.git
cd MOSS
- Conda環境を作成し、アクティブにします：
conda create --name moss python=3.8
conda activate moss
- 必要なパッケージをインストールします：
pip install -r requirements.txt
ここで、torchとtransformersのバージョンは推奨バージョン以下にしないでください。現時点では、tritonはLinuxとWSLのみをサポートしており、WindowsやMac OSはまだサポートしていませんSource 0。
使い方
MOSSはWebページデモとAPIを通じて使用することができます。
Webページデモ
Streamlitを使用したWebページデモが提供されています。これを使用するには、以下のコマンドを実行します：
streamlit run moss_web_demo_streamlit.py --server.port 8888
このWebページデモはデフォルトでmoss-moon-003-sft-int4モデルを使用してシングルカードで実行されます。他のモデルを指定したり、マルチカードで実行したりするには、以下のように--model_nameと--gpuパラメータを使用します：
streamlit run moss_web_demo_streamlit.py --server.port 8888 -- --model_name fnlp/moss-moon-003-sft --gpu 0,1
APIを通じてMOSSを使用する
モデルをローカルにデプロイする条件がない場合や、MOSSをすぐにあなたのサービス環境にデプロイしたい場合は、推論サービスのIPアドレスと専用API KEYを取得するために私たちに連絡してください。現在、APIサービスは企業向けにのみ開放されており、授权を取得するためにはこのファイルに署名し、[こちらのアンケート](https://docs.google.com/forms/d/e/1FAIpQLSfyX7hKzUb9kKqoZZ
