FlashAttention(フラッシュアテンション)とは?読み方・LLMのAttention計算をGPUメモリ削減で高速化する仕組み・FlashAttention-3との違いを完全解説
FlashAttentionはStanford大Tri Dao氏らが提唱したAttention計算の高速化アルゴリズム。HBMアクセスを最小化することで2〜4倍の高速化と省メモリを両立し、長文コンテキストを実用化した。FlashAttention-3はH100で最大75%のFLOPS利用率を達成。仕組み・実装パターン・PagedAttentionとの違いを解説。

































