Apache Parquetとは？
あぱっちぱーけっと
Apache Parquetとは、大量データの効率的な分析処理に特化した列指向のオープンソース・ファイルフォーマットです。
Apache Parquetは、Hadoop・Spark・クラウドデータウェアハウスなどのビッグデータ処理基盤で広く使われる列指向（カラムナー）のバイナリファイルフォーマットです。Twitter社とCloudera社が共同開発し、Apache Software Foundationのトップレベルプロジェクトとして公開されています。
従来のCSVやJSONのような行指向フォーマットでは、特定の列だけを読み取りたい場合も全行を読み込む必要があります。Parquetは列ごとにデータを配置するため、分析クエリで参照する列だけを選択的に読み込むことができ、I/Oコストを大幅に削減します。
主な特徴をまとめると次のとおりです。
- 列単位の圧縮：同一列は同種データが集まるため、Snappy・GZIP・Zstandardなどで高圧縮率を実現
- スキーマ埋め込み：ファイル自体にデータ型情報が含まれ、異なる処理エンジン間で互換性を保つ
- 述語プッシュダウン：フィルタ条件をファイル読み込み前に適用し、不要なデータを最初から読まない
- 分割可能：大きなファイルを行グループに分割し、並列処理に対応
AWS Athena・Google BigQuery・Apache Spark・DuckDBなど主要なデータ処理ツールがParquetをネイティブ対応しており、データレイク基盤の事実上の標準フォーマットとなっています。
使い方・例文
「ETLパイプラインで変換済みデータをApache Parquet形式でS3に保存することで、Athenaのクエリコストを大幅に削減できた」という文脈で登場します。
この用語をシェア
最終更新: