海量小文件是業界難題，甚至有專門的名詞，LOSF(lots of samll file)。通常我們認為大小在1MB以內的文件稱為小文件，百萬級數量及以上稱為海量文件，由此量化定義海量小文件。

在互聯網(尤其是移動互聯網)、物聯網、云計算、大數據等高速發展的大背景下，數據呈現爆炸式地增長。海量小文件的應用在生活中已越來越常見，社會化網絡、移動通信、網絡視頻音頻、電子商務、傳感器網絡、科學實驗等各種應用產生的數據，不僅存儲容量巨大，而且數據類型繁多、數據大小變化幅度大、流動快等顯著特點，往往能夠產生千萬級、億級甚至十億、百億級的海量小文件。如何構建高效存儲訪問和備份恢復的小文件管理是目前海量數據存儲所面臨的一個重要問題。

對于LOSF而言，IOPS/OPS是關鍵性能衡量指標，造成性能和存儲效率低下的主要原因包括海量文件的元數據管理、存儲介質性能限制等方面。

元數據來說，雖然小文件得數據量小，但是每個數據的元數據量不變。導致文件系統的元數據量非常龐大，因此元數據對于小文件得訪問效率影響非常大。磁盤文件系統使用塊來組織磁盤數據，并在inode中存儲索引文件數據塊。數據塊通常比較小，一般為1KB、2KB或4KB。

當文件需要存儲數據時，文件系統根據預定的策略分配數據塊，分配策略會綜合考慮數據局部性、存儲空間利用效率等因素，通常會優先考慮大文件I/O帶寬。對于特別小的小文件，比如小于4KB，inode與數據分開存儲，這種數據布局也沒有充分利用空間局部性，導致隨機I/O訪問。

SSD無疑是從存儲介質層面提升海量小文件存儲性能的利器。單盤幾萬的IOPS，甚至采用nvme協議后能達到單盤幾十萬的IOPS，高IOPS能非常好的提升海量小文件檢索效率。奈何SSD價格還是高高在上，無法大規模普及。但隨著NAND flash的發展，SSD取代機械硬盤是肯定的事。

但是光從存儲介質層面入手還不能完全解決問題。由于目前的文件系統往往是針對大文件設計的，比如ext3，btrfs，ntfs等文件系統在大文件時表現往往可以，但是海量小文件場景時性能也會出現下降。這種情況其實是文件系統跟不上硬件的性能，只有針對海量小文件做了特殊優化的文件系統配合高性能的SSD才能夠更好的解決該問題。

對象存儲是近幾年新發展出來的全新存儲使用協議。對象存儲最明顯的特點就是，一般無用戶使用界面，不像常見的posix協議的文件系統可以直接操作文件。用戶存儲文件和獲取文件采用url的方式。可以比如，存儲一個數據的時候用put，獲取用get。對象存儲不像文件系統一樣可以無縫兼容各種業務程序，而是需要業務程序調整自己的讀寫接口為對象標準，從而給實際落地應用帶來了一定的門檻。

對象存儲，也叫做基于對象的存儲，是用來描述解決和處理離散單元的方法的通用術語，這些離散單元被稱作為對象。就像文件一樣，對象包含數據，但是和文件不同的是，對象在一個層結構中不會再有層級結構。每個對象都在一個被稱作存儲池的扁平地址空間的同一級別里，一個對象不會屬于另一個對象的下一級。

比如Ceph通過Crush算法做數據分布。不使用文件系統時，系統無需配置元數據服務（MDS），這時系統無需管理龐大的元數據，避免了元數據服務成為瓶頸；但是由于機械硬盤的本身限制，往往在使用的時候，都會配置SSD盤作為緩存盤提供系統整體IOPS。同時業務系統也得由于使用對象存儲系統而修改IO讀寫的訪問接口，這對于很多用戶來說是很難以接受的方案。

文件系統作為平常最常見的存儲方式，還是受廣大的用戶喜歡。但是傳統NAS具有機頭瓶頸，海量小IO的并發下性能會很差。分布式存儲發展起來后，通過橫向擴展，方便的解決傳統存儲帶來的瓶頸問題。一般來說文件系統一定需要元數據，每次數據的讀寫都會涉及到元數據的訪問或者修改。所以元數據服務器的還是會成為分布式文件系統處理海量小文件時的瓶頸。

隨著數字世界的不斷龐大，海量小文件場景越來越常見。我們也看到業界很多產品通過各種方式的優化，支持百億級別的數據訪問。但是LOSF問題是公認的難題，需要針對不同的業務場景進行專門的優化，一個產品沒法吃遍天下。