本文へスキップ

自己注意機構とは?

じこちゅういきこう

系列内の各要素が他の要素全てとの関連度を計算する機構。

クエリキー・バリューの行列積でスケーリングしソフトマックスで重みを出して加重和を取ることで系列のどの位置に注目するかを動的に決定するトランスフォーマーの中核機構。

使い方・例文

「銀行」という単語が金融か川かを自己注意機構が文脈から判断する。

この用語をシェア

𝕏 でポスト LINE

最終更新:

関連用語