HDFS的優缺點,HDFS(Hadoop Distributed File System)是Hadoop項目的核心子項目,是分布式計算中數據存儲管理的基礎,是基于流數據模式訪問和處理超大文件的需求而開發的,可以運行于廉價的商用服務器上。
1.HDFS優點
(1)高容錯性:數據自動保存多個副本,副本丟失后,自動恢復,保證可靠性的同時也加快了處理速度,A結點負載高,可讀取B結點。
(2)適合批處理:移動計算而非數據,數據位置暴露給計算框架。
(3)可構建在廉價機器上:通過多副本提高可靠性,提供容錯和恢復機制。
2.HDFS缺點
(1)低延遲數據訪問:例如,訂單是否適合存儲在HDFS中,要求數據毫秒級就要查出來。
(2)小文件存取:不適合大量的小文件存儲,如果真有這種需求的話,要對小文件進行壓縮。
(3)并發寫入、文件隨機修改:不適合修改,實際中網盤、云盤內容是不允許修改的,只能刪了重新上傳,它們都是Hadoop實現的。