本文へスキップ

Glueとは?

ぐるー

AWS Glueとは、AmazonのフルマネージドETLサービスで、データの検出・変換・移送を自動化するクラウドデータ統合基盤のことです。

AWS Glue(グルー)は、Amazon Web Services(AWS)が提供するサーバーレス型のフルマネージドETL(Extract・Transform・Load)サービスです。インフラの管理をAWSに委ねながら、データの抽出・変換・ロードを自動化できるため、データエンジニアリング作業を大幅に効率化できます。

AWS Glueの主要コンポーネントは以下のとおりです。

  • Glueデータカタログ:S3・RDS・Redshiftなど各種データソースのスキーマ情報を自動検出してカタログ化するメタデータリポジトリ。Athenaなどのサービスと連携して活用できる
  • Glueクローラー:データソースを自動的にスキャンしてスキーマを推測し、データカタログへ登録するコンポーネント
  • Glue ETLジョブ:Apache SparkベースのPythonまたはScalaスクリプトでデータ変換処理を実行する。コード自動生成機能も備える
  • Glue Studio:ノーコード・ローコードでETLパイプラインをGUI上で設計できるビジュアルエディタ

AWS Glueはサーバーレスのため、処理を実行した時間とデータ量に応じた従量課金となり、初期インフラ投資が不要です。データレイク構築においてS3・Athena・Redshiftとの連携が特に強力で、AWSのデータ分析エコシステムの中心的な役割を担います。データガバナンスや品質管理の機能も拡充されており、大規模なデータ基盤の統合処理に広く活用されています。

使い方・例文

S3に蓄積されたWebサーバーのログファイルをGlueクローラーでスキャンしてスキーマを登録し、Glue ETLジョブでIPアドレスのマスキングや集計処理を行ってRedshiftに転送する構成がAWS Glueの典型的な使い方です。

この用語をシェア

𝕏 でポスト LINE

最終更新:

関連用語