CLIPとは？
くりっぷ
CLIPとは、画像とテキストを同一の特徴空間に対応させることで、テキストの説明から画像を検索・分類できるOpenAIのAIモデルです。
CLIP（Contrastive Language-Image Pre-Training）は、OpenAIが2021年に発表した画像とテキストを関連付けて学習する大規模マルチモーダルモデルです。インターネット上から収集した膨大な量の画像とそのキャプション（テキスト）のペアを用いて、対照学習（Contrastive Learning）によって訓練されています。
CLIPの核心となる仕組みは、画像エンコーダとテキストエンコーダを用いて、対応する画像とテキストが似た特徴ベクトルを持つように学習する点にあります。対照学習では、正しいペア（画像とその説明文）は特徴空間で近づけ、無関係なペアは遠ざけるように訓練します。これにより、ゼロショット（zero-shot）分類が可能になります。つまり、学習時に見たことのないカテゴリでも、テキストで説明を与えるだけで分類できます。
CLIPの主な応用領域は次の通りです。
- テキストによる画像検索・画像レトリーバル
- ラベルなしでの画像分類（ゼロショット分類）
- テキストから画像を生成するDiffusionモデル（DALL-Eなど）の誘導
- マルチモーダルな質問応答システム
CLIPは既存の個別タスク向けモデルと異なり、汎用的に使える特徴表現を学んでいるため、AIの視覚理解における重要な基盤モデルとして広く活用されています。
使い方・例文
「赤いリンゴが乗ったテーブル」というテキストを入力するだけで、大量の画像データベースからそれに最も近い画像を検索する用途や、画像生成AIの品質評価に使われます。
この用語をシェア
最終更新: