実測記録 / 実践ガイド
ローカルAIを3件で実測：完全一致の採点が見落としたこと
Qwen3 8BとGemma3 12Bへ同じ架空の問い合わせを入力。6回の出力原文と設定を公開し、採点の限界を確かめました。
正しい出力でも、採点の作り方次第で不一致になります。小さな実験から、AIを評価するときに人が確認すべき点を整理します。
2モデル・3つの入力で試した記録
2026年9月26日（日本時間）、当サイトのローカルPCでOllama 0.34.3を使い、Qwen3 8BとGemma 3 12Bへ同じ問い合わせを渡しました。実行は各入力1回、合計6回です。個人情報を含まない架空の3件を用意し、出力原文と設定を保存しました。
| ケース | 原文 | 期待する商品・数量・希望日 |
|---|---|---|
| relative-date | ノートAを2冊、来月10日までにお願いします。 | {"product":"ノートA","quantity":2,"requested_date":"来月10日"} |
| missing-fields | ノートBをお願いします。数量と希望日はまだ決めていません。 | {"product":"ノートB","quantity":null,"requested_date":null} |
| correction | ペンCを5本お願いします。訂正します。数量は3本に変更、希望日は2026-10-05です。 | {"product":"ペンC","quantity":3,"requested_date":"2026-10-05"} |
まず完全一致で数えると、両方とも8/9
商品名・数量・希望日の3項目を、3件分、保存した期待値と文字列・数値・nullの型まで比較しました。次の数字は今回の小さな入力集合での一致数です。モデル全体の性能や正答率を示しません。
| モデル | ケース | 完全一致した項目 | 応答までの秒数（参考） |
|---|---|---|---|
| qwen3:8b | relative-date | 2/3 | 19.98 |
| qwen3:8b | missing-fields | 3/3 | 10.79 |
| qwen3:8b | correction | 3/3 | 1.34 |
| gemma3:12b | relative-date | 2/3 | 18.11 |
| gemma3:12b | missing-fields | 3/3 | 0.47 |
| gemma3:12b | correction | 3/3 | 0.66 |
「まで」と「までに」を誤りと数えてよいか
不一致になったのは、どちらも相対日付です。期待値は「来月10日」。Qwen3は「来月10日までに」、Gemma 3は「来月10日まで」と返しました。商品名と数量は一致し、両方とも年月を捏造していません。指示は「相対日付は原文の表現を残す」なので、この助詞の違いだけで誤答と扱う採点は厳しすぎました。
一方、受注システムがYYYY-MM-DDを要求するなら、どちらの文字列もそのまま保存できません。文章から情報を取り出せたかと、次の処理へ渡せるかは別の確認が必要です。今回は、相対日付を人が確認する欄に残す受付台帳にしました。
省略せず出力を確認する
qwen3:8b / relative-date の出力原文
{
"product": "ノートA",
"quantity": 2,
"requested_date": "来月10日までに"
}qwen3:8b / missing-fields の出力原文
{
"product": "ノートB",
"quantity": null,
"requested_date": null
}qwen3:8b / correction の出力原文
{
"product": "ペンC",
"quantity": 3,
"requested_date": "2026-10-05"
}gemma3:12b / relative-date の出力原文
{"product": "ノートA", "quantity": 2, "requested_date": "来月10日まで"}gemma3:12b / missing-fields の出力原文
{"product": "ノートB", "quantity": null, "requested_date": null}gemma3:12b / correction の出力原文
{"product": "ペンC", "quantity": 3, "requested_date": "2026-10-05"}再現するための設定
JSON形式指定、temperature=0、seed=42、num_ctx=2048、num_predict=256。Qwen3はthink=false、Gemma 3はモデル既定です。量子化はいずれもQ4_K_Mです。各リクエストは独立して実行しました。待ち時間にはモデル読込が含まれ、読込状態をそろえていないため速度の優劣には使えません。
架空の問い合わせから商品名・数量・希望日を抽出してください。JSONのみで、キーはproduct、quantity、requested_dateの3つ。quantityは数値、書かれていない値はnull。相対日付は原文の表現を残し、年月を推測しない。訂正がある場合は最後の訂正を優先してください。
入力・出力・モデル識別情報・時間の記録をダウンロード（JSON） · 使用したOllama APIの公式仕様
この検証から言える範囲
この3件では、両モデルとも数量未定をnullで残し、5本から3本への訂正を反映しました。文章量が増えた場合、複数の商品、あいまいな訂正、別言語での安定性は未検証です。1回ずつの結果で本番の成功率を予測することもできません。採点表を作るときは、まず「意味が合う」「形式が合う」「人の確認が要る」を分けるのが、この検証で得た改善点です。