「mlc-llm」のインストール・使い方

Authors

• 

  Name

  章 有坂

  short bio

  オープンソースソフトウェアのトレンドを追いかけてます。

mlc-llmは、大規模言語モデルを高性能にデプロイするためのソリューションで、ネイティブAPIとコンパイラ加速を活用します。このプロジェクトの目的は、AIモデルの開発、最適化、そしてネイティブデバイスへのデプロイをすべての人々が行うことを可能にすることですSource 0。

インストール・導入方法

現在、このプロジェクトの具体的なインストール・導入方法についての情報は公式ドキュメントに記述されていません。しかし、ソースコードをクローンし、必要な依存関係をインストールすることで、ローカル環境での実行が可能です。

使い方

このプロジェクトは大規模な言語モデルをデプロイするためのツールを提供しています。その一部として、Python APIを利用してチャットボットを作成する例が提供されていますSource 0。

以下に示すのは、Python APIを使用してチャットボットを作成する例です：

from mlc_chat import ChatConfig, ChatModule, callback
from mlc_chat.support import logging

logging.enable_logging()

MODEL="HF://junrushao/NeuralHermes-2.5-Mistral-7B-q4f16_1-MLC"

cm = ChatModule(
   MODEL,
   device="cuda",
   chat_config=ChatConfig(
       sliding_window_size=4096,
       prefill_chunk_size=1024,
       opt="O2",
   ),
)
cm.generate(
   "What is the meaning of life?",
   progress_callback=callback.StreamToStdout(callback_interval=2),
)

上記のコードは、指定されたモデルを使用してチャットボットを作成し、そのチャットボットに対して"What is the meaning of life?"という質問を送信します。そして、チャットボットの応答を標準出力にストリームしますSource 0。