本文へスキップ

データレイクとは?

でーたれいく

データレイクとは、構造化・非構造化を問わずあらゆる形式のデータを生のままで大量に蓄積する大規模なデータ保管基盤です。

データレイク(Data Lake)とは、企業や組織が持つあらゆる種類のデータを、変換・加工せずに生の状態(raw data)で一元的に格納するリポジトリのことです。データウェアハウスが整理・定義済みのデータを扱うのに対し、データレイクは「とにかく何でも貯めておく」思想を基本とします。

データレイクに格納できるデータの種類は多岐にわたります。

  • 構造化データ:RDBのテーブルデータ、CSVファイルなど
  • 半構造化データ:JSON、XML、ログファイルなど
  • 非構造化データ:画像・動画・音声・PDFなど
  • ストリームデータ:IoTセンサーのリアルタイムデータなど

データレイクの主な利点は、データを使う目的が決まっていなくても先に蓄積しておけること、スキーマをあとから定義できること(スキーマオンリード)、そして大規模なデータを低コストのストレージに保存できることです。AmazonのS3やHadoop HDFS、Microsoft Azure Data Lake Storageなどがその基盤として広く使われています。

一方で、管理・ガバナンスを怠ると何が入っているか分からない「データスワンプ(沼)」になるリスクもあります。メタデータの管理やデータカタログの整備が実運用では重要です。データウェアハウスとデータレイクを組み合わせた「データレイクハウス」という概念も近年注目されています。

使い方・例文

「機械学習モデルの学習に使うために、アプリのログや購買履歴、画像データをすべてデータレイクに蓄積し、必要なときに取り出して分析に活用する」というように、ビッグデータ基盤やクラウドデータ活用の文脈でよく登場します。

この用語をシェア

𝕏 でポスト LINE

最終更新:

関連用語