Glueとは?
ぐるー
AWS Glueとは、AmazonのフルマネージドETLサービスで、データの検出・変換・移送を自動化するクラウドデータ統合基盤のことです。
AWS Glue(グルー)は、Amazon Web Services(AWS)が提供するサーバーレス型のフルマネージドETL(Extract・Transform・Load)サービスです。インフラの管理をAWSに委ねながら、データの抽出・変換・ロードを自動化できるため、データエンジニアリング作業を大幅に効率化できます。
AWS Glueの主要コンポーネントは以下のとおりです。
- Glueデータカタログ:S3・RDS・Redshiftなど各種データソースのスキーマ情報を自動検出してカタログ化するメタデータリポジトリ。Athenaなどのサービスと連携して活用できる
- Glueクローラー:データソースを自動的にスキャンしてスキーマを推測し、データカタログへ登録するコンポーネント
- Glue ETLジョブ:Apache SparkベースのPythonまたはScalaスクリプトでデータ変換処理を実行する。コード自動生成機能も備える
- Glue Studio:ノーコード・ローコードでETLパイプラインをGUI上で設計できるビジュアルエディタ
AWS Glueはサーバーレスのため、処理を実行した時間とデータ量に応じた従量課金となり、初期インフラ投資が不要です。データレイク構築においてS3・Athena・Redshiftとの連携が特に強力で、AWSのデータ分析エコシステムの中心的な役割を担います。データガバナンスや品質管理の機能も拡充されており、大規模なデータ基盤の統合処理に広く活用されています。
使い方・例文
S3に蓄積されたWebサーバーのログファイルをGlueクローラーでスキャンしてスキーマを登録し、Glue ETLジョブでIPアドレスのマスキングや集計処理を行ってRedshiftに転送する構成がAWS Glueの典型的な使い方です。
この用語をシェア
最終更新: