ポンコツLLM

● 稼働中

ラズパイ上で動く軽量な言語モデル。難しいことは苦手だけど、雑談やちょっとした文章のお手伝いくらいなら、けなげにこなします。応答はストリーミングで少しずつ返ってきます。

デモ

chat.demo

⌘/Ctrl + Enter0 / 2000

ポンコツ保護のため、入力は最大 2000 文字・返答は約 512 トークンで打ち切られます。

つかいどころ

▸ アプリやサイトに、よくある質問へ一問一答で答える「案内係」として組み込む。
▸ 短い文章の言い換えや要約を、その場で一発で。

つかいかた

OpenAI 互換です。API キーを発行（無料）して、公式の openai パッケージで baseURL を llm.ponkotsu-lab.net に向けるだけで使えます。

インストール

npm install openai

使ってみる

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://llm.ponkotsu-lab.net",
  apiKey: "発行したキー",
});

const stream = await client.chat.completions.create({
  model: "ponkotsu",
  messages: [{ role: "user", content: "短い物語を書いて" }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0]?.delta?.content ?? ""); // 届いたトークンを逐次出力
}

実行すると、ターミナルに文章が少しずつ流れていきます。

メモ

モデルは ponkotsu（軽量 gemma ベース）。
OpenAI Chat Completions 互換なので、対応クライアントやライブラリがそのまま使えます。
ブラウザから使うときは new OpenAI({ ..., dangerouslyAllowBrowser: true }) を。

制約（ポンコツ事項）

無料キーは 3 リクエスト/分まで。発行は 1 日 2 本までです。
非力なため、長文や複雑な推論は苦手です。
混雑時はレート制限がかかり、順番待ちになることがあります。