Test-time Compute（テストタイムコンピュート）とは、LLMが推論時により多くの計算量を使って精度を上げる手法。OpenAI o1/o3やDeepSeek-R1で注目される推論時スケーリングの仕組み・Chain of Thoughtとの違い・実装パターン・コストトレードオフを完全解説。

Mambaとは、Albert Gu/Tri Daoが2023年に発表したSelective State Space Modelで、Transformerの2乗計算問題を線形時間で解決する仕組みです。本記事では読み方・Mamba-2/3の進化・Transformerとの違い・ハイブリッド採用例まで完全解説します。

Speculative Decodingとは、軽量なドラフトモデルが先読み予測し、ターゲットモデルが一括検証することでLLM推論を2〜3倍高速化する仕組みです。Rejection Samplingにより出力品質は数学的に保証され、vLLMやTGI等の主要推論サーバが標準対応しています。

FlashAttentionはStanford大Tri Dao氏らが提唱したAttention計算の高速化アルゴリズム。HBMアクセスを最小化することで2〜4倍の高速化と省メモリを両立し、長文コンテキストを実用化した。FlashAttention-3はH100で最大75%のFLOPS利用率を達成。仕組み・実装パターン・PagedAttentionとの違いを解説。

vLLMはUC Berkeley発のオープンソースLLM推論エンジン。PagedAttentionでKVキャッシュを最大100%近く活用し、最大24倍の高速化を実現する。仕組み・実装パターン・TGI/TensorRT-LLMとの違いを解説する。

KV Cacheとは、Transformer型LLMの推論時にKey/Valueテンソルを再利用して計算量を線形に抑える仕組み。読み方・仕組み・Prompt Cachingとの違い・PagedAttention/vLLMとの関係を図解で完全解説します。

Quantization（量子化）はLLMの重みを低精度に変換してメモリと速度を改善する技術。FP16/INT8/INT4の違い、GPTQ・AWQ・GGUFの仕組み、ハルシネーションへの影響、ローカル運用パターンを完全解説。

Diffusion Model（拡散モデル）とは、ノイズから徐々にデータを復元する生成モデル。読み方・数式の直感的理解・Stable DiffusionやSora 2など実装例・GANとの違いまで初心者にもわかる形で解説します。

MoE（Mixture of Experts、混合エキスパート）はニューラルネットを複数エキスパートに分割し一部のみ活性化する疎アーキテクチャ。読み方、仕組み、Mixtral・DeepSeek V3・Llama 4の実例、Denseモデルとの違いを徹底解説。

推論モデル（すいろんモデル、Reasoning Model）とは、回答前に内部で思考過程（Chain of Thought）を展開し、段階的に答えを導くLLMの総称。OpenAI o3・Claude Extended Thinking・Gemini 2.5 Thinking・DeepSeek R1など主要モデルを比較しながら仕組み・用途・コストを解説。