バッチ推論とは？

バッチ推論（Batch Inference）とは、機械学習・深層学習モデルに対して大量の入力データを一度にまとめて送り、推論（予測・分類・生成など）を実行する処理方式です。対義語はリアルタイム推論（オンライン推論）で、こちらはリクエストごとに即座に結果を返します。

バッチ推論が選ばれる主な理由はコストと効率です。GPUなどのアクセラレータはまとめてデータを処理するほどスループットが向上し、1件あたりのコストを下げられます。また推論サーバーを常時稼働させる必要がなく、夜間や需要の少ない時間帯にまとめて処理することでインフラコストを抑えられます。

バッチ推論が適している代表的な用途は以下の通りです。

• レコメンドエンジンの定期的な候補リスト更新
• 大量の画像・動画のラベル付けや分類
• ドキュメントの一括翻訳・要約処理
• 夜間バッチでの売上予測・需要予測
• テキストの感情分析を大規模データに適用

クラウドサービスではAmazon SageMaker Batch Transform、Google Cloud Vertex AI Batch Prediction、Azure Machine Learning Pipeline など、バッチ推論専用のマネージドサービスが提供されており、スケールアウトが容易になっています。リアルタイム性が不要な用途ではバッチ推論を選ぶことが、AIシステム設計のコスト最適化の基本的な選択肢となっています。