BERTとは？

BERT（Bidirectional Encoder Representations from Transformers）は、2018年にGoogleの研究チームが発表した自然言語処理（NLP）向けの事前学習モデルです。「Transformerの双方向エンコーダー表現」を意味する名称が示す通り、文章中の単語を左右両方向の文脈から同時に理解できる点が最大の特徴です。

それ以前の言語モデルは左から右（または右から左）の一方向に単語を処理していましたが、BERTは双方向の注意機構（Bidirectional Attention）を採用したことで、単語の意味をより豊かな文脈情報から学習できるようになりました。

BERTが採用した主な学習手法は以下の2つです。

• Masked Language Model（MLM）：文章中の一部の単語をマスクし、前後の文脈から予測させる
• Next Sentence Prediction（NSP）：2つの文が文章中で連続するかどうかを予測させる

大量のテキストデータで事前学習したBERTを、特定タスク用に少量データでファインチューニングするアプローチにより、質問応答・感情分析・文章分類・固有表現抽出など幅広いNLPタスクで高い精度を達成しました。Googleの検索エンジンにも採用され、クエリの意味理解精度向上に貢献しています。BERTはその後のGPTシリーズや日本語特化モデルなど、多くの大規模言語モデルの発展の礎となった重要なモデルです。