データレイクとは?
でーたれいく
データレイクとは、構造化・非構造化を問わずあらゆる形式のデータを生のままで大量に蓄積する大規模なデータ保管基盤です。
データレイク(Data Lake)とは、企業や組織が持つあらゆる種類のデータを、変換・加工せずに生の状態(raw data)で一元的に格納するリポジトリのことです。データウェアハウスが整理・定義済みのデータを扱うのに対し、データレイクは「とにかく何でも貯めておく」思想を基本とします。
データレイクに格納できるデータの種類は多岐にわたります。
- 構造化データ:RDBのテーブルデータ、CSVファイルなど
- 半構造化データ:JSON、XML、ログファイルなど
- 非構造化データ:画像・動画・音声・PDFなど
- ストリームデータ:IoTセンサーのリアルタイムデータなど
データレイクの主な利点は、データを使う目的が決まっていなくても先に蓄積しておけること、スキーマをあとから定義できること(スキーマオンリード)、そして大規模なデータを低コストのストレージに保存できることです。AmazonのS3やHadoop HDFS、Microsoft Azure Data Lake Storageなどがその基盤として広く使われています。
一方で、管理・ガバナンスを怠ると何が入っているか分からない「データスワンプ(沼)」になるリスクもあります。メタデータの管理やデータカタログの整備が実運用では重要です。データウェアハウスとデータレイクを組み合わせた「データレイクハウス」という概念も近年注目されています。
使い方・例文
「機械学習モデルの学習に使うために、アプリのログや購買履歴、画像データをすべてデータレイクに蓄積し、必要なときに取り出して分析に活用する」というように、ビッグデータ基盤やクラウドデータ活用の文脈でよく登場します。
この用語をシェア
最終更新: