第三章：HDFS

文档摘要

第3章 Hadoop分布式文件系统 shenhao 3.0 产生的背景 &emsp;&emsp;随着数据量越来越大，一台独立的物理计算机逐渐已经存不下所有的数据。如何解决这一问题呢？直观的解决办法就是：当一台机器存不下时，那就用上百上千万台机器一起存储大规模的数据，但是管理和维护会极其不方便，十分低效。而这也是大数据时代必须解决的海量数据的高效存储问题！！为此，分布式文件系统孕育而生！ &emsp;&emsp;分布式文件系统是管理网络中跨多台计算机存储的文件系统。该系统架构于网络之上，势必会引入了网络编程的复杂性。因此，分布式文件系统比普通磁盘文件系统更为复杂。例如，如何使文件系统能够容忍节点故障的同时，不会丢失任何数据；在单一节点数据更新的同时如何通知整个文件系统进行同步更新等等。