HDFSとは？

HDFS（Hadoop Distributed File System）は、Apacheプロジェクトが開発したオープンソースの分散ファイルシステムです。Google File Systemの論文（2003年）をもとに設計され、Hadoop エコシステムの中核的ストレージ基盤として広く利用されています。大規模バッチ処理や機械学習のデータ基盤として、多くの企業・研究機関が採用しています。

HDFSのアーキテクチャは「NameNode」と「DataNode」の2種類のノードで構成されます。

• NameNode：ファイルのメタデータ（名前空間・ブロック配置情報）を管理するマスターノード。単一障害点になりやすいため、HA構成（スタンバイNameNode）を設けることが多い。
• DataNode：実際のデータブロックを保存するワーカーノード。NameNodeの指示に従ってデータの読み書きを行う。

ファイルは固定サイズ（デフォルト128MB）のブロックに分割され、複数のDataNodeに複製（デフォルト3レプリカ）して保存されます。これにより、特定のノードが故障してもデータを失わずサービスを継続できます。

HDFSは「一度書いたら読むだけ」の大規模ファイルに最適化されており、低レイテンシのランダムアクセスは苦手です。MapReduce・Hive・Sparkなどのビッグデータ処理フレームワークと組み合わせて使われ、ログ分析・クリックストリーム解析・機械学習の前処理など幅広い用途に活用されています。