Parquetとは？
ぱーけっと
Parquetとは列指向のオープンソースファイルフォーマットで、大規模データの高速な分析処理に適した設計が特徴です。
Parquet（パーケット）は、Apache Software Foundationが管理するオープンソースのデータストレージフォーマットです。2013年にTwitterとClouderaが共同開発し、Hadoopエコシステムを中心に広く普及しました。現在はApache Spark・Pandas・AWS Athena・Google BigQueryなど、主要なビッグデータ処理基盤のほぼすべてでネイティブサポートされています。
最大の特徴は列指向（columnar）ストレージであることです。CSVなどの行指向フォーマットがレコード単位でデータを並べるのに対し、Parquetは同じ列のデータをまとめて格納します。分析クエリでは全列でなく特定の列だけを参照することが多いため、列指向では必要な列だけを読み込むことで I/O を大幅に削減できます。
また、同じ列には同じ型のデータが並ぶため、以下の最適化が可能です。
- Snappy・Gzip・Zstdなどによる高い圧縮率
- Run-Length EncodingやDictionary Encodingによるエンコード効率化
- 列単位のメタデータによるクエリプッシュダウン
データウェアハウスや機械学習パイプラインでは、数十GB〜数TBのデータを効率よく扱う標準フォーマットとして定着しており、CSVの置き換えとして活用されるケースが増えています。
使い方・例文
数億行のログデータをCSVで保存すると数十GBになる場合でも、Parquet形式に変換すると圧縮により数GBに収まり、特定の列のみ集計するクエリが数倍高速になることがあります。
この用語をシェア
最終更新: