品質はどれだけ落ちるのか

「体感で変わらない」は証拠にならない

Q4_K_M のモデルを落として何度か話しかけ、「特に問題なさそう」と結論する。よくある判断ですが、材料としては使えません。理由は劣化の出方にあります。

量子化がもたらす変化は「モデルが壊れる」ではなく、1 トークンごとに、次の 1 語を選ぶ確率がわずかにずれることです。ずれは大半の場面で無害です。1 位の候補が圧倒的なとき、確率が少し動いても 1 位は 1 位のままだからです。表に出るのは 1 位と 2 位が競っている場面だけで、そこで選択が入れ替わると、以降の文章はその分岐の上に積み上がっていきます。つまり劣化には「短い応答では見えにくく、長い生成や多段の推論で増幅される」という性質があります。人間が数回試して確かめられる量ではありません。

だから数値で測ります。この章で使う指標は 2 つです。

• perplexity（PPL） — そのモデルがテキストをどれだけ言い当てられるか。モデル単体の予測力
• KL ダイバージェンス（KLD） — 量子化前のモデルの出力分布と量子化後の分布がどれだけ違うか。「元と同じ振る舞いか」

量子化の評価で本命は後者です。私たちが知りたいのは「このモデルは賢いか」ではなく「元のモデルと同じものが手元で動いているか」だからです。

perplexity — 次の 1 語を何択で迷っていたか

llama.cpp 公式ドキュメントの定義は「Perplexity measures how well the model can predict the next token with lower values being better.」（次のトークンをどれだけうまく予測できるかを測る。低いほど良い）です。素人向けに言い換えると、PPL は「次の 1 トークンを選ぶとき、実質何択で迷っていたか」の平均です。PPL 4.0 なら平均 4 択、6.2 なら 6.2 択で迷っていた。少ない選択肢で正解を当てられるモデルの方が優秀なので、低いほど良い数値になります。

計算の手順はこうです。テキストを 1 トークンずつ進めながら、モデルが「実際に来た正解トークン」に与えた確率を記録する。その対数の平均を取り、符号を反転して指数に戻す。

PPL = exp( −(1/t) × Σ ln p(正解トークン | それまでの文脈) )

計算例を置きます。3 トークンの文で、正解トークンに与えた確率が順に 0.5 / 0.25 / 0.5 だったとします。ln 0.5 = −0.6931、ln 0.25 = −1.3863 なので合計は −2.7725、平均は −0.9242、符号を反転して 0.9242、exp(0.9242) = 2.52。「平均 2.5 択で迷っていた」と読めます。もし 3 つとも 0.25 なら exp(1.3863) = 4.00 で、ちょうど 4 択と一致します。この一致が「何択か」という直感の根拠です。

ここからが重要で、PPL は絶対値を比べてよい相手が極端に狭い指標です。公式ドキュメントが明示している制約は次の 3 つです。

• 「perplexity is not directly comparable between models, especially if they use different tokenizers」— トークナイザが違えば「1 トークン」の単位そのものが違うので、別モデルの PPL を並べても意味がない
• 「llama.cpp numbers are not directly comparable to those of other projects」— 実装依存で値が変わる
• 「finetunes typically result in a higher perplexity value even though the human-rated quality of outputs increases」— 指示追従のためにファインチューンすると PPL は悪化するのに、人間の評価は上がる

さらに Hugging Face の解説は、固定長モデルでテキストをぶつ切りにして測る素朴な方法を「a poor approximation」と呼び、文脈が短くなるぶん PPL が悪く（高く）出ると書いています。結局、同じモデル・同じデータ・同じコンテキスト長・同じ実装という 4 条件が揃ったときだけ、差分に意味があります。llama.cpp が PPL を使う用途もそこに限定されていて、公式の言い方は「the perplexity of base models is used primarily to judge the quality loss from e.g. quantized models vs. FP16」です。慣習として使うデータは Wikitext-2 のテストセット（= 英語版 Wikipedia の記事から作られた、言語モデル評価の定番テキスト。scripts/get-wikitext-2.sh で取得できます）です。

KL ダイバージェンス — 分布のズレを直接見る

PPL の弱点は「正解トークンに与えた確率しか見ない」ことです。語彙は数万〜十数万トークンあり、そのうちの 1 つだけを見ているので、上位候補の順位が入れ替わっても、正解の確率が変わっていなければ PPL は動きません。

KL ダイバージェンスはそこを直接見ます。比べるのは logits（= モデルが最後に吐き出す、語彙の全トークンぶんの生のスコア列。これを softmax 関数に通すと確率分布になります）から作った確率分布です。量子化前（FP16）の分布を p、量子化後を q として、語彙のすべてのトークン v について足し合わせます。

KLD = Σ p(v) × ln( p(v) / q(v) )

これは「p が正しいのに q を使ってしまったときに、余分に払う情報量」で、0 なら 2 つの分布は完全に同じです。公式の説明も「a measure of how similar the FP16 and the quantized logit distributions are with a value of 0 indicating that the distribution are the same」となっています。

計算例として図 9-1 の数値を式に入れると、0.40×ln(0.40/0.34) + 0.36×ln(0.36/0.41) + 0.12×ln(0.12/0.13) = 0.0650 − 0.0468 − 0.0096 = 0.0086 になります（残る 2 候補は p = q なので 0）。実測でも Llama-2-7B の q4_K_M の平均 KLD は 0.012686 で、同じ桁です。

「KLD の方が鋭い」とどこまで言えるか

llama.cpp の README に「KLD の方が鋭い」と書かれた一文はありません。公式から読み取れるのは次の 3 点までです。

• 公式スコアボードは「sorted by Kullback-Leibler divergence relative to FP16」。量子化タイプの序列付けに使われているのは PPL ではなく KLD
• README 自身が「K-quants score better on mean Δp than the legacy quants than e.g. KL divergence would suggest」と書いており、指標を変えると順位が入れ替わることを認めている
• KLD 系の統計を追加した PR #6936 の動機は「LLaMA 3 は LLaMA 2 より量子化で壊れやすいという体感報告」の検証で、作者は「My findings align with the subjective reports.」と結論した。PPL だけでは説明しきれなかった体感差を、追加統計が裏づけた

学術側の裏づけは arXiv:2407.09141「Accuracy is Not All You Need」です。正答率が同じでも答えが正解↔不正解に入れ替わる flips が起きることを示し、「compression techniques should also be evaluated using distance metrics. We propose two such metrics, KL-Divergence and flips」と主張しています。

Same top p — 何トークンに 1 回、違う語を選ぶか

--kl-divergence を付けると KLD 以外の統計も出ます。実務で効くのは 2 つです。

• Same top p — FP16 と量子化版が同じトークンを 1 位に選んだ割合。Llama-3-8B の q4_K_M は 91.901 ± 0.072 %
• Δp のパーセンタイル — Δp は「正解トークンに与えた確率が FP16 から何ポイント動いたか」で、負なら悪化です。公式の読み方は「パーセンタイルが対称ならノイズを足しただけ。負側が明らかに大きければ、実際に悪化している」

Same top p 91.901 % は感覚に直せます。100 − 91.901 = 8.099 % なので、計算例として 1 ÷ 0.08099 = 12.3、約 12 トークンに 1 回、FP16 とは違うトークンを 1 位に選んでいることになります。同じ設定の ΔPPL は +0.1755（PPL 比 1.028、わずか 2.8 % 増）です。PPL だけを見て「ほぼ同じ」と判断するのが危ういのは、この落差のせいです。

./scripts/get-wikitext-2.sh

llama-perplexity -m models/Model-F16.gguf \
  -f wikitext-2-raw/wiki.test.raw \
  --kl-divergence-base f16-logits.kld -ngl 99

llama-perplexity -m models/Model-Q4_K_M.gguf \
  -f wikitext-2-raw/wiki.test.raw \
  --kl-divergence-base f16-logits.kld --kl-divergence -ngl 99

実測値 — ビット数ごとの相場

llama.cpp 公式の Llama-3-8B スコアボードから抜粋します。測定条件は Revision f364eb6f / CUDA バックエンド / CPU AMD Epyc 7742 / GPU 1x NVIDIA RTX 4090、データは Wikitext-2 テストセットです。imatrix 列の「WT 10m」は Wikitext 1,000 万トークンで作った importance matrix を使ったことを意味します。f16 行が 0 でないのは、logits を 16bit 整数に落として保存している分の差です。

この表と図から、出典に基づいて言えることを整理します。

• 8bit はほぼ無害。 q8_0 の ΔPPL は +0.0027、KLD は 0.001355。同じ条件の f16 行（+0.0015）とほとんど区別できない水準です
• 6bit も実質無害。 q6_K は ΔPPL +0.0217。k-quants を導入した PR #1684 も「the 6-bit quantized perplexity is within 0.1% or better from the original fp16 model」と書いています
• 4bit（K-quants）が実用域。 q4_K_M は ΔPPL +0.1755、PPL 比 1.028。HF 上の GGUF モデルカードで見かける「recommended」表記の出所は、llama.cpp にかつて同梱されていた量子化スクリプト examples/make-ggml.py（現在は削除済み）の「Q4_K_M: medium, balanced quality - recommended」という 1 行です。ただし Same top p は 91.9 % で、無害ではありません
• 同じ 4bit でも legacy は損。 q4_0 は q4_K_M より 0.24 GiB 小さいだけで ΔPPL が約 2.7 倍（+0.4685）、KLD が約 2.3 倍。同じスクリプトは「Q4_0: small, very high quality loss - legacy, prefer using Q3_K_M」とも書いていました。名前の数字ではなく設計で決まります（Q4_K_M の中身は第 6 章で開けます）
• 3bit 以下は用途次第。 q3_K_M は +0.6569、imatrix を使えば +0.5026 まで戻りますが、q3_K_S は +1.6322。ここから imatrix の効き方が大きくなります
• 2bit は imatrix 前提でも劣化が見える。 q2_K は imatrix ありで +2.4162、なしで +3.5199（PPL 比 1.565）。Same top p は 71.1 % まで落ちます。さらに iq1_S では PPL 60.69 と、FP16 の約 10 倍です

imatrix については、公式スコアボードの結論が「There seems to be no consistent improvement from using more Wikitext tokens for the importance matrix.」です。q2_K を 1,000 トークンで作った imatrix と 1,000 万トークンで作った imatrix で PPL は 8.683 と 8.648、誤差の範囲です。あり／なしの差は明確だが、量を増やす効果は当てにできないと読みます。imatrix の作り方は第 10 章で扱います。

同じメモリ予算なら、どちらが得か

「16 GB しか積んでいない。13B を強く量子化するか、7B を軽く量子化するか」。これは一次データで直接答えられます。k-quants 導入 PR #1684 が、同じ実装・同じデータで測った Wikitext perplexity を並べているからです。

PR #1684 自身の結論も「generation performance as measured by perplexity is basically a fairly smooth function of quantized model size」です。PPL は「量子化後のファイルサイズ」のほぼ滑らかな関数になり、同じ予算なら大きいモデルを強く量子化する方が有利になりやすい。学術側では arXiv:2212.09720（35,000 以上の実験、19M〜176B）が「4-bit precision is almost universally optimal for total model bits and zero-shot accuracy」と結論しています。HQQ 公式ブログの実測も、2bit の Llama-2-70B（PPL 4.12）が FP16 の Llama-2-13B（4.63）を上回ったと報告しています。実行時の GPU メモリは 30.27 GB 対 25.6 GB で、ほぼ同じ規模の機材に載るということです（図 9-3 はファイルサイズ、こちらは実行時メモリなので、軸が違う点に注意してください）。

ただし例外が 3 つあり、どれも一次データで確認できます。

• 小さいモデルの 2bit は崩壊する。 HQQ ブログの Llama-2-7B の 2bit は PPL 15.61（グループサイズ 32）／7.3（同 16。scale を共有する単位で、第 5 章で扱いました）で、FP16 の 5.18 から大きく離れます。「大きいモデルなら 2bit も使える」は 70B 級の話です
• 相対誤差はモデルサイズに単調ではない。 PR #1684 は「the relative quantization error ... does not decrease with increasing number of weights in the base model」と観測しています。13B は量子化しやすかったが、30B・65B では 7B 水準に戻った
• 新しくよく学習されたモデルほど壊れやすい。 下の表がそれです

同じ q4_K_M で KLD が約 2.5 倍、q2_K では約 4 倍に増えています。arXiv:2411.04330「Scaling Laws for Precision」はこれを定式化して、「the degradation introduced by post-training quantization increases as models are trained on more data, eventually making additional pretraining data actively harmful」と述べています。学習トークンを多く注ぎ込んだモデルは重みに情報が詰まっていて、削れる余白が少ないという理解です。したがって「去年 4bit で問題なかったから今年の新モデルも大丈夫」は成り立ちません。世代が変わったら測り直します。

先に壊れるタスクと、ベンチマークの落とし穴

劣化は全タスクに均等に来ません。出典のある観測をまとめます。

日本語で使う人にとって重要なのは 1 行目です。同じモデル・同じ量子化について、自動ベンチマークでは −1.7 % に見えた日本語の劣化が、人間の評価では −16.0 % として現れた。この 1.7 対 16.0 という開きが「自動指標は人間が感じる劣化を過小評価する」ことの直接の証拠です。2 行目の「言語ごとの差は見られない」は矛盾する結論に見えますが、こちらは中国語と英語の穴埋めタスクを自動スコアで比べただけで、人間評価も日本語も入っていません。範囲が違うので、1 行目を打ち消す反証にはなりません。

もう 1 つ、結論が割れているのが難易度との関係です。arXiv:2407.03211 は「難しいタスクから先に劣化する」と書き、arXiv:2409.11055 は「難易度だけでは決まらない（元から弱い部分が拡大される）」と書いています。共通しているのは劣化が均等には来ないことなので、平均ではなく自分の用途に近い項目を見るしかありません。長文の崩れについては、重みのビット数ではなく KV キャッシュの量子化を先に疑ってください（KV キャッシュのメモリと設定は第 8 章、形式ごとの選び分けは第 7 章です）。

平均スコアは量子化の劣化に鈍感

MMLU のようなベンチマークの平均値は、量子化の判断材料としては鈍いことがあります。RedHatAI 公式モデルカード（Meta-Llama-3.1-8B-Instruct を INT4 weight-only、group_size 128、GPTQ で量子化）の recovery（= 量子化後スコア ÷ BF16 スコア）を見ると、OpenLLM v1 の平均は 98.9 % です。ところが個別には大きく割れます。下の図の 8 項目はモデルカードのカテゴリで言うと、Arena Hard が LLM 判定、MMLU と GSM8K が OpenLLM v1、MMLU-Pro・Math Lv5・MuSR が OpenLLM v2（BF16 の素点自体が 30.8 / 15.7 / 7.6 点と低い難問群）、HumanEval+ がコーディング、Hindi MMLU が多言語です。

上振れの項目があるのも見どころです。モデルカードには図に載せていない項目もあって、GPQA は 109.8 %、図にもある Arena Hard は 105.4 % で「量子化して良くなった」ように見えます。ただし素点を見ると GPQA は BF16 の 3.7 点に対し量子化版が 4.0 点、つまり低スコア帯での 0.3 点差です（Arena Hard も 25.8 → 27.2）。実力が上がったのではなく、arXiv:2407.09141 の flips、つまり正解と不正解が両方向に入れ替わる現象がスコアの揺れとして表に出たものと読むのが妥当です。同論文は自由生成タスク（MT-Bench）では「compressed models are significantly worse than baseline models」だとも報告しています。平均を見て安心せず、自分が使うタスクに近い項目を個別に見る。最後は自分のプロンプトで人が読んで判断するのが結論です。

なお 8bit については、Llama-3.1 全ファミリを 50 万回以上評価した arXiv:2411.02355 が「FP8 (W8A8-FP) is effectively lossless across all model scales」「well-tuned INT8 (W8A8-INT) achieves surprisingly low (1-3%) accuracy degradation」「INT4 weight-only (W4A16-INT) is more competitive than expected, rivaling 8-bit quantization」と結論しています。8bit は実質無損失、4bit の重みだけの量子化は 8bit と張り合える。llama.cpp の PPL / KLD が示す傾向と、タスク精度で測ったサーバ側の結論はここで一致します。

つまずきポイント

理解度チェック

まとめ

• 量子化の劣化は「毎トークンの確率が少しずれる」形で現れる。短い試用では見えないので、PPL（予測力）と KLD（元との分布のズレ）で測る
• PPL は「実質何択で迷っていたか」。同じモデル・同じデータ・同じコンテキスト長・同じ実装の 4 条件が揃った差分でしか使えない
• KLD は語彙全体の分布のズレを 1 つの数にする。0 なら完全一致。llama.cpp が量子化タイプを並べる基準も KLD で、Same top p を添えて読む
• Llama-3-8B の実測では、8bit と 6bit はほぼ無害、4bit の K-quants が実用域（Same top p 91.9 %）、3bit 以下は用途次第、2bit は imatrix 前提でも劣化が見える
• 同じ予算なら大きいモデルを強く量子化する方が有利になりやすい。ただし小型モデルの 2bit は崩壊し、新しい世代のモデルは同じビット数でも劣化が大きい
• 先に壊れるのは非ラテン文字の言語・長文・数学・コード。ベンチマークの平均は鈍感なので、用途に近い項目を個別に見て、最後は人が読んで判断する

ここまでで「どれを選ぶか」の根拠は揃いました。次章では Ollama / LM Studio / llama.cpp / MLX / vLLM を実際に動かし、選んだモデルを手元に降ろします。

参考リンク

• llama.cpp — tools/perplexity/README.md（PPL / KLD の定義とスコアボード）
• llama.cpp — tools/quantize/README.md（実効 bpw と量子化オプション）
• llama.cpp PR #1684 — k-quants の導入と同一予算比較
• llama.cpp PR #6936 — perplexity に KLD 系統計を追加
• Hugging Face Transformers — Perplexity of fixed-length models
• RedHatAI — Meta-Llama-3.1-8B-Instruct-quantized.w4a16 モデルカード
• arXiv:2407.09141 — Accuracy is Not All You Need
• arXiv:2407.03211 — How Does Quantization Affect Multilingual LLMs?
• arXiv:2402.18158 — Evaluating Quantized Large Language Models
• arXiv:2409.11055 — Exploring the Trade-Offs: Quantization Methods, Task Difficulty, and Model Size
• arXiv:2504.04823 — Quantization Hurts Reasoning?（推論特化モデルの量子化）
• arXiv:2411.02355 — Accuracy-Performance Trade-Offs in LLM Quantization
• arXiv:2411.04330 — Scaling Laws for Precision
• arXiv:2212.09720 — The case for 4-bit precision
• HQQ 公式ブログ（2bit の 70B と FP16 の 13B の比較表）
• EleutherAI — lm-evaluation-harness