自己注意機構とは？
じこちゅういきこう
自己注意機構（セルフアテンション）とは、文章中の各単語が他のすべての単語との関連度を計算し、文脈に応じた意味を捉える深層学習の中核的な仕組みのことです。
自己注意機構（Self-Attention Mechanism）は、2017年にGoogleが発表した論文「Attention Is All You Need」でTransformerアーキテクチャとともに広く知られるようになった手法です。入力系列中の各要素が他のすべての要素に対して「どれだけ注目すべきか」を重みとして計算し、それに基づいて各要素の表現を更新します。
- 各入力トークンをQuery（Q）・Key（K）・Value（V）の三つのベクトルに変換します。
- あるトークンのQと、すべてのトークンのKの内積を取りスケーリングし、Softmaxで正規化して注意重みを得ます。
- 各Vをその注意重みで加重和することで、文脈を反映した新しい表現ベクトルを生成します。
自己注意機構の大きな利点は、どれだけ離れた位置の単語同士でも直接関係を計算できる点です。従来のRNNは単語を順番に処理するため長距離依存の捕捉が難しかったのに対し、自己注意機構は並列処理が可能でかつ長距離の依存関係を1ステップで捉えられます。
現代の大規模言語モデル（LLM）はほぼすべてこの機構を多層に積み上げたマルチヘッドアテンションを採用しており、自然言語処理の性能を飛躍的に向上させた技術として評価されています。
使い方・例文
「彼は銀行に行った。その銀行は川のそばにあった」という文で、自己注意機構は二つの「銀行」の意味（金融機関か土手か）を前後の単語との関係から適切に区別します。
この用語をシェア
最終更新: