トランスフォーマーとは？
とらんすふぉーまー
自己注意機構で系列全体を並列処理するニューラルネットワーク構造。
2017年にGoogleが発表した論文Attention Is All You Needで提案されたアーキテクチャで自己注意機構により長距離依存関係を効率的に学習できLLMや画像認識の基盤になっている。
使い方・例文
GPT-4やBERTなど現代の大規模言語モデルはトランスフォーマーをベースとしている。
この用語をシェア
最終更新: