ローカル LLM 量子化入門ガイド｜2026-08 版

ローカル LLM 量子化入門ガイド

Q4_K_M って何？なぜ 4bit でも文章が書けるの？自分のマシンで動くモデルはどれ？ — ローカル LLM を動かすと必ずぶつかる「量子化」を、機械学習の予備知識なしで理解できるところまで説明します。すべての事実は llama.cpp・Hugging Face・vLLM・MLX の公式ドキュメントと手法の原論文に基づいています。

全 11 章図解 45 枚理解度チェック 53 問やってみる 10 本 2026-08 版

第 1 章から読む

このガイドについて

読者として、プログラミングの経験はあるが機械学習は専門ではないエンジニアを想定しています。行列積や浮動小数点の内部表現を知らなくても読めるように、用語はすべて初出時に定義し、式は必ず「言葉での説明 → 式 → 数値を入れた計算例」の順で示します。図はすべてインライン SVG で描いてあり、ライトテーマとダークテーマの両方に追従します。

図 0-1　各部を読み終えた時点で言えるようになること。第 I 部と第 II 部は順番に読むことを想定していますが、第 III 部以降は必要な章から拾い読みできます。

前提知識: ターミナルでコマンドを実行できること。Ollama や LM Studio でモデルを一度動かした経験があると理解が早いですが、なくても読めます。数学は「割り算と四捨五入」まで戻って説明します。

情報の鮮度: 量子化はツールの更新が速い領域です。本ガイドは 2026-08 時点の公式ドキュメントに基づいており、コマンドのオプション名・対応形式・推奨設定は変わりえます。実行前に各章末の参考リンクから最新版を確認してください。

目次

第 I 部　量子化とは何か

第 1 章量子化とは何か 80.3 億個の重みが 16 GB になる算術から始め、量子化で減るもの・減らないもの、そして「速くなる」が半分だけ正しい理由を確かめます。図解 4 枚｜理解度チェック 4 問第 2 章数のかたち — FP32 から FP4 まで符号・指数・仮数のビット配分から FP32・FP16・BF16・FP8・FP4 を開け、整数との目盛りの違いと MXFP4 の実効 4.25 bpw までを算術で確かめます。図解 4 枚｜理解度チェック 5 問

第 II 部　仕組みを理解する

第 3 章量子化の原理 — スケールと丸め scale と zero-point で目盛りを作り、丸めて戻すまでを手計算で追います。ブロック単位にする理由と、その代償のビット数も示します。図解 4 枚｜理解度チェック 5 問第 4 章なぜ 4bit でも壊れないのか重みの分布・行列積の平均化・混合ビット割り当ての 3 点で壊れない理由を説明し、外れ値と誤差の蓄積という壊れる方向も示します。図解 4 枚｜理解度チェック 4 問第 5 章手法の系譜 — RTN から GPTQ・AWQ・NF4 まで RTN・GPTQ・AWQ・LLM.int8()・NF4・HQQ・AutoRound・SmoothQuant が丸め誤差にどう対処するかを並べ、比較表と選び方に落とします。図解 4 枚｜理解度チェック 5 問

第 III 部　形式とエコシステム

第 6 章 GGUF を読む — Q4_K_M の正体 Q4_K_M の名前を 4 つに分解し、block_q4_K のビット内訳から 4.5 bpw を導きます。S/M/L の違いと imatrix の役割も扱います。図解 4 枚｜理解度チェック 5 問第 7 章形式マップ — GGUF / MLX / GPTQ / AWQ / FP8 GGUF・MLX・GPTQ・AWQ・FP8 をハードと目的の 2 軸で整理し、W4A16 と W8A8 の効き方の違い、変換の一方通行性を確認します。図解 4 枚｜理解度チェック 5 問

第 IV 部　実務 — 選ぶ・測る・動かす

第 8 章メモリ見積り — 自分のマシンで何が動くか必要メモリを重み・KV キャッシュ・作業領域・固定費の 4 項に分解し、式と実測値で見積もります。帯域から生成速度も概算します。図解 4 枚｜理解度チェック 5 問｜やってみる 2 本第 9 章品質はどれだけ落ちるのか perplexity と KL ダイバージェンスの読み方を押さえ、ビット数ごとの劣化の相場と、同じメモリ予算での賢い選び方を実測値で確認します。図解 4 枚｜理解度チェック 5 問｜やってみる 1 本第 10 章手を動かす — 選ぶ・落とす・自分で量子化する既製モデルを動かす段から自分で量子化する段まで 4 段のはしごを登ります。Ollama・llama.cpp・MLX・vLLM のコマンドを実際に叩きます。図解 4 枚｜理解度チェック 5 問｜やってみる 4 本第 11 章早見表と用語集選択フロー、GGUF タイプ早見表、メモリ見積りの 3 つの式、公式の綴りどおりのコマンド一覧、用語集 38 語。迷ったときに戻ってくる参照ページです。図解 4 枚｜理解度チェック 5 問｜やってみる 3 本