Workers AI — エッジで動く AI 推論

AI バインディングを設定した Worker で、POST された質問に日本語で答えるチャット API を作ります。所要時間は約 15 分です。

1. 新しい Worker プロジェクトを作成する。テンプレートは Hello World example → Worker only → TypeScript を選び、デプロイの質問には No と答える

npm create cloudflare@latest -- workers-ai-chat
cd workers-ai-chat

2. wrangler.jsonc の末尾に AI バインディングを追加する（前節のとおり "ai": { "binding": "AI" }）
3. src/index.ts を次の内容に置き換える。system ロールで「日本語で答える」制約を与え、既定値 256 では日本語の回答が途切れやすいので max_tokens を 512 に引き上げている

export interface Env {
  AI: Ai;
}

export default {
  async fetch(request, env): Promise<Response> {
    if (request.method !== "POST") {
      return new Response('POST で JSON {"message": "..."} を送ってください', {
        status: 405,
      });
    }
    const { message } = (await request.json()) as { message: string };

    const answer = await env.AI.run("@cf/meta/llama-3.1-8b-instruct-fast", {
      messages: [
        {
          role: "system",
          content:
            "あなたは Cloudflare に詳しいアシスタントです。必ず日本語で、簡潔に答えてください。",
        },
        { role: "user", content: message },
      ],
      max_tokens: 512,
    });

    return Response.json(answer);
  },
} satisfies ExportedHandler<Env>;

4. npx wrangler dev で起動し（初回はログインを求められる）、別ターミナルから質問を送る

curl http://localhost:8787 -X POST \
  -H "Content-Type: application/json" \
  -d '{"message": "Cloudflare Workers とは何ですか？"}'

# 期待される出力（response の文面は実行ごとに変わる）
{"response":"Cloudflare Workers は、Cloudflare のグローバルネットワーク上で
JavaScript や TypeScript のコードを実行できるサーバーレス実行環境です。..."}

日本語の回答が JSON で返れば成功です。npx wrangler deploy すれば、この API はそのまま workers.dev の URL で世界中から呼べるようになります。

11-1 のチャット API を、生成結果を逐次返すストリーミング型に改造します。所要時間は約 10 分です。

1. src/index.ts の env.AI.run() 呼び出しと return 部分を次のように変更する。stream: true を足し、返り値のストリームをそのまま Response の body にする

    const stream = await env.AI.run("@cf/meta/llama-3.1-8b-instruct-fast", {
      messages: [
        {
          role: "system",
          content:
            "あなたは Cloudflare に詳しいアシスタントです。必ず日本語で、簡潔に答えてください。",
        },
        { role: "user", content: message },
      ],
      max_tokens: 512,
      stream: true,
    });

    return new Response(stream, {
      headers: { "content-type": "text/event-stream" },
    });

2. npx wrangler dev を起動したまま、curl の -N（バッファリング無効）オプションを付けて呼び出す

curl -N http://localhost:8787 -X POST \
  -H "Content-Type: application/json" \
  -d '{"message": "エッジコンピューティングの利点を 3 つ教えてください"}'

# 期待される出力：data: で始まる SSE イベントが少しずつ流れてくる
data: {...}   ← 生成されたテキストの断片
data: {...}
...（生成が終わるとストリームが閉じる）

全文を待たずに最初の 1 文字目が届き始めることを確認してください。ブラウザ側では EventSource や fetch のリーダーで受け取れば、ChatGPT 風の「文字が流れてくる」UI になります。

多言語埋め込みモデル @cf/baai/bge-m3 で日本語文書のベクトルを作り、質問文とのコサイン類似度で並べ替える最小の意味検索を作ります。所要時間は約 15 分です。

1. 新しい Worker プロジェクト workers-ai-search を 11-1 と同じ手順で作成し、AI バインディングを設定する
2. src/index.ts を次の内容に置き換える。質問と文書をまとめて 1 回の run() でベクトル化しているのがポイント

export interface Env {
  AI: Ai;
}

const docs = [
  "Workers AI はサーバーレス GPU で AI モデルを実行するサービスです",
  "R2 はエグレス無料のオブジェクトストレージです",
  "D1 は SQLite ベースのサーバーレスデータベースです",
];

function cosine(a: number[], b: number[]): number {
  let dot = 0, na = 0, nb = 0;
  for (let i = 0; i < a.length; i++) {
    dot += a[i] * b[i];
    na += a[i] * a[i];
    nb += b[i] * b[i];
  }
  return dot / (Math.sqrt(na) * Math.sqrt(nb));
}

export default {
  async fetch(request, env): Promise<Response> {
    const q =
      new URL(request.url).searchParams.get("q") ?? "GPU で推論したい";
    const { data } = (await env.AI.run("@cf/baai/bge-m3", {
      text: [q, ...docs],
    })) as { data: number[][] };

    const [qv, ...dv] = data;
    const ranked = docs
      .map((text, i) => ({ text, score: cosine(qv, dv[i]) }))
      .sort((x, y) => y.score - x.score);
    return Response.json({ query: q, results: ranked });
  },
} satisfies ExportedHandler<Env>;

3. npx wrangler dev で起動し、クエリを変えながら呼び出す

curl "http://localhost:8787/?q=画像などのファイルを安く保存したい"

# 期待される出力（score の値は一例）：R2 の文書が最上位に来る
{"query":"画像などのファイルを安く保存したい","results":[
  {"text":"R2 はエグレス無料のオブジェクトストレージです","score":0.62},
  ...]}

キーワードが一致していなくても意味の近い文書が上位に来ることを確認してください。文書数が増えたら、この総当たり計算を次章の Vectorize に置き換えます。

Worker を介さず、curl から REST API で直接モデルを実行します。CI やローカルスクリプトから使うときの形です。所要時間は約 10 分です。

1. ダッシュボードの Workers AI ページを開き、Use REST API を選択する
2. Create a Workers AI API Token からトークンを作成してコピーする（自分でカスタムトークンを作る場合は Workers AI - Read と Workers AI - Edit の両権限が必要）
3. 同じ画面の Get Account ID からアカウント ID をコピーする
4. 取得した 2 つの値でエンドポイント /accounts/{account_id}/ai/run/{model} を呼び出す

curl https://api.cloudflare.com/client/v4/accounts/<YOUR_ACCOUNT_ID>/ai/run/@cf/meta/llama-3.1-8b-instruct-fast \
  -H "Authorization: Bearer <YOUR_API_TOKEN>" \
  -d '{ "messages": [{ "role": "user", "content": "Cloudflare Workers を一言で説明して" }] }'

# 期待される出力
{
  "result": { "response": "Cloudflare Workers は..." },
  "success": true,
  "errors": [],
  "messages": []
}

<YOUR_ACCOUNT_ID> と <YOUR_API_TOKEN> は手順 2〜3 でコピーした値に置き換えます。応答本体が result に包まれるのがバインディング経由との違いです。なお Workers AI は OpenAI 互換エンドポイント（.../ai/v1/chat/completions と .../ai/v1/embeddings）も提供しており、OpenAI SDK の baseURL を差し替えるだけで既存コードから利用できます。