アテンションメカニズムとは？

アテンションメカニズム（Attention Mechanism）とは、ニューラルネットワークがある出力を生成する際に、入力シーケンスのどの部分を重視すべきかを動的に学習・制御する仕組みです。2015年ごろから機械翻訳の精度向上に活用され、現在の大規模言語モデル（LLM）の根幹技術となっています。

仕組みを端的に説明すると、入力の各要素（トークン）に対してクエリ（Query）・キー（Key）・バリュー（Value）という3種類のベクトルを計算し、クエリとキーの類似度（スコア）に基づいてバリューを加重平均する処理です。これにより、遠く離れた単語同士の関係も一度の計算で捉えることができます。

アテンションメカニズムの主な種類には以下があります。

• セルフアテンション：同一シーケンス内の各要素が互いに関係性を計算する手法（Transformerの中核）
• マルチヘッドアテンション：複数のアテンションを並列に計算し、多角的な文脈情報を取得
• クロスアテンション：エンコーダの出力とデコーダの入力をつなぐ形で使うアテンション

2017年の論文「Attention Is All You Need」でTransformerアーキテクチャが提案されて以降、アテンションメカニズムはGPT・BERT・Geminiなどあらゆる最新AIモデルの中心的コンポーネントとなっています。自然言語処理だけでなく、画像生成や音声認識にも広く応用されています。