SCIKIT-LLM：scikit-learnライクなアプローチでLLMを簡単に活用

scikit-learnのようなスタイルでChatGPTなどのLLMを従来の機械学習タスクに活用できるscikit-llmがgithubで公開されました。

本家scikit-learnのように学習して予測できる

以下のようにscikit-learnの分類を行うスタイルでLLMを活用するデモが公開されています。

from skllm import ZeroShotGPTClassifier
from skllm.datasets import get_classification_dataset

X, _ = get_classification_dataset()

clf = ZeroShotGPTClassifier()
clf.fit(None, ["positive", "negative", "neutral"])
labels = clf.predict(X)

ChatGPTモデルも活用できる

以下のように、OpenAI社のChatGPTもAPI_KYEを指定して簡単に活用できるようになっています。

from skllm.config import SKLLMConfig

SKLLMConfig.set_openai_key("<YOUR_KEY>")
SKLLMConfig.set_openai_org("<YOUR_ORGANISATION>")

ローカルGPTにも対応

GPT4ALLへのアダプタも付属されており、いつでもスイッチできます。
（実験的な段階なので本番運用には注意）

上記で掲載した分類以外にも文章のベクトル化や要約、なども行うことができるようです。

まとめ

sklearnを部分的にでも採用している企業は多く、pytorchやtensorflow/kerasなどの全く別のフレームワークを主体として開発を行っているAI開発企業であっても、モデルの精度評価で活用していることは少なくありません。
今後は本家のsklearnも含めて生成AIの生成したテキストへの評価周りの機能が期待されます。

【参考文献】

iryna-kondr/scikit-llm

GPT4ALL A free-to-use, locally running, privacy-aware chatbot. No GPU or internet required: