「dolly」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

dollyは、Databricks社が開発した大規模な言語モデルで、Databricks Machine Learning Platform上で学習されました。このモデルは商用利用に許可されており、指示に従う大規模な言語モデルとして振る舞います。モデルは元々EleutherAIのPythia-12bから派生し、Databricks社の社員によって生成された約15,000件の指示/応答ファインチューニングレコードに微調整されています。これには、InstructGPT論文のカプティビティドメインからのブレインストーミング、分類、クローズドQA、生成、情報抽出、オープンQA、または要約などが含まれますSource 0。

インストール・導入方法

モデルを使用するためには、Hugging Faceで提供されているdatabricks/dolly-v2-12bモデルを使用します。以下に、モデルを使用するためのPythonコードの例を示します：

from transformers import pipeline
import torch

instruct_pipeline = pipeline(model="databricks/dolly-v2-12b", torch_dtype=torch.bfloat16, trust_remote_code=True, device_map="auto")
instruct_pipeline("Explain to me the difference between nuclear fission and fusion.")

このコードは、"nuclear fissionとfusionの違いを教えてください"という指示に対するモデルの応答を生成しますSource 0。

また、モデルを自身で訓練することも可能です。そのためには、以下の手順を守る必要があります：

1. Databricksにdollyリポジトリを追加します（リポジトリをクリックして追加し、URLとしてhttps://github.com/databrickslabs/dolly.gitを入力し、「Create Repo」をクリックします）。
2. 13.x ML（Apache Spark 3.4.0、GPU、Scala 2.12を含む）またはそれ以降のシングルノードクラスタを開始します。ノードタイプは8つのA100 GPUを持つものでなければなりません（例：Standard_ND96asr_v4またはp4d.24xlarge）。これらのインスタンスタイプはすべての地域で利用できないか、またはプロビジョニングが難しい場合があります。Databricksでは、これらのインスタンスタイプが表示されるように、まずGPUランタイムを選択し、「Use Photon」を解除する必要があります（サポートされている場合）。
3. リポジトリでtrain_dollyノートブックを開き、GPUクラスタに接続して全てのセルを実行します。訓練が完了すると、ノートブックはモデルを/dbfs/dolly_training下に保存しますSource 0。

使い方

モデルは指示に従うことを学びます。したがって、モデルに指示を与えることで、それに対応する応答を得ることができます。例えば、「Explain to me the difference between nuclear fission and fusion.」という指示を与えると、モデルはその指示に