「dalai」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

dalaiは、大規模な言語モデルを利用してテキストを生成するためのJavaScriptライブラリです。このライブラリは、Node.jsとブラウザで動作し、Socket.IOを介して他の言語でも使用可能です。また、このライブラリは、Hugging FaceのTransformersライブラリと同じAPIを持つため、既存のコードベースを容易に移行することができますSource 0。

インストール・導入方法

まず、Node.jsバージョン18以上とPythonバージョン3.10以下をインストールする必要があります。その後、次のコマンドを実行して依存関係をインストールします：

brew install cmake
brew install pkg-config

次に、AlpacaやLlamaというモデルをダウンロードします。これは以下のコマンドで行います：

npx dalai alpaca install 7B
npx dalai llama install 7B

また、Dockerを使用してアプリケーションを起動することも可能です。その場合、以下のコマンドを実行します：

docker compose build
docker compose run dalai npx dalai alpaca install 7B # or a different model
docker compose up -d

使い方

このライブラリは非常に直感的で、基本的な操作は以下の通りです：

1. ライブラリを初期化します：

const Dalai = require('dalai')
const dalai = new Dalai()

2. requestメソッドを使用してモデルにテキストを生成させます：

dalai.request({
  model: "7B",
  prompt: "The following is a conversation between a boy and a girl:",
}, (token) => {
  process.stdout.write(token)
})

また、このライブラリは非同期で動作し、インストールされたモデルの一覧を取得するためのメソッドも提供しています：

const models = await dalai.installed()
console.log(models)    // prints ["7B", "13B"]

さらに、カスタムパスにモデルをインストールしたり、カスタムパスからサービスを提供したりすることも可能です：

npx dalai llama install 7B --home ~/test_dir
npx dalai serve --home ~/test_dir

これらの機能により、このライブラリは大規模な言語モデルを簡単に利用することができますSource 0。