対照学習とは？
たいしょうがくしゅう
対照学習とは、似たデータを近づけ、異なるデータを遠ざけるように表現を学習させる自己教師あり学習の手法で、ラベルなしデータから高品質な特徴表現を獲得します。
対照学習（Contrastive Learning）は、ラベルなしデータから有用な表現（埋め込みベクトル）を学習する自己教師あり学習の手法です。2020年前後に画像・テキスト・音声など多様なモダリティで顕著な成果を上げ、深層学習の注目分野となりました。
基本的な考え方は、同じデータから異なる方法で作った2つのビュー（正例ペア）の表現は類似させ、異なるデータ（負例）の表現とは遠ざけるように損失関数を設計することです。画像の場合、元画像を切り取り・色変換・回転などで変形した2枚を正例ペアとし、別の画像を負例として学習します。
代表的な対照学習の手法には次のものがあります。
- SimCLR：大バッチサイズで多数の負例を活用する基本的な枠組み
- MoCo：モメンタムエンコーダーと負例キューで効率化
- CLIP：画像とテキストをペアとして対照学習し、視覚と言語を結びつける
- SimSiam / BYOL：負例なしでの対照学習を実現
対照学習の利点は、ラベル付けコストをかけずに汎用的な特徴表現を学習できることです。得られた表現は少量のラベルデータで様々な下流タスクに転用（転移学習）できます。医療画像の解析、文書検索、推薦システムなど、ラベル収集が困難なドメインで特に有効です。
使い方・例文
OpenAIのCLIPモデルは画像とその説明文を対照学習で結びつけることで、「犬が水の中で遊んでいる写真」という文章で類似画像を検索できる強力な視覚言語モデルとして知られています。
この用語をシェア
最終更新: