照片由Caroline Selfors在Unsplash上拍攝
我正在為飛機旅行收拾行李箱，我剛剛意識到我沒有足夠的空間來放我所有的衣服。我的手提箱以前工作得很好——顯然我的需求發生了變化。
我 可以 把所有東西都塞進去，然後用繩子把它系起來。或者我可以把多余的衣服塞進三個購物袋，然後把四個都帶過機場？這看起來不太好。拼湊或徹底改變我存放衣服的方式是壹種糟糕的旅行計劃方式——我需要更好的東西。更簡單的東西。當然，我真正需要的只是壹個更大的手提箱。手提箱是可以互換的，只需將衣服從壹個換到另壹個。
我的困境現在有點愚蠢和明顯，但事實證明可交換存儲也非常適合軟件存儲。便攜式軟件的夢想是“壹次編寫，隨處運行”。軟件也應該有可移植性數據。無論您是將數據存儲在 S3 存儲桶、磁盤還是 Web 瀏覽器中，它們都應該可以輕松互換。
不幸的是，它通常不是那麽簡單：每個新的數據“手提箱”不能以相同的方式放置，使用非常規的包裝，或者如果妳看起來很有趣，它就會分崩離析。如果沒有***同的標準或審查過程，就很難為您的程序確定壹個存儲系統。不需要更改您的程序以符合獨特的存儲系統，並且適應未來的變化應該不難。我們需要用於不同類型存儲的通用接口和壹個***享測試套件來審查它們。
通用存儲標準可以幫助解決這些問題，但它們需要在社區中廣泛采用才能發揮作用。采用標準的第壹步是在熟悉的設計和熟悉的來源中引入它。例如， Go在標準庫中引入了文件系統接口，為開發人員的構建奠定了基礎。它使用不起眼的文件，壹個熟悉的數據包，組織在文件夾中，形成壹個文件系統。Go 的“分層”文件系統模式是壹個不錯的選擇，因為它已經在其他領域廣泛使用。從智能手機上的相冊到網絡瀏覽器中的書簽，文件系統模式在當今軟件中無處不在。文件系統似乎是通用存儲接口的絕佳選擇。
在Hackpad的開發過程中，我們的存儲系統開始出現裂痕，但我們缺乏修復它的工具。我們的大多數組件都需要使用幾種不同的存儲系統來讀取和寫入數據。對於每個新的存儲系統，我們每次都編寫和重寫適配器代碼——它造成了大量的流失。它從壹個簡單的內存存儲開始，然後發展為流式.tar.gz文件閱讀器，然後是覆蓋文件系統。當我們也需要添加基於瀏覽器的存儲時，很明顯：需要壹個新的、靈活的抽象。
在本文中，我們將討論 Go 程序的壹種新的、可擴展的文件系統模式及其工作原理。Go 的文件系統接口io/fs.FS為新的可能性打開了大門。讓我們用 HackpadFS 把這扇門打開。
我們開源了我們的庫HackpadFS，以定義通用文件系統接口並***享嚴格的測試套件，使每個人都可以制作自定義和可移植的文件系統。它將 Go 的入門文件系統提升到了壹個全新的水平：
接下來，讓我們用 HackpadFS 的內置文件系統、通用接口和成熟的測試套件 探索 新的可能性。
文件系統或 FS 是由“路徑”定位的文件的集合。如果您之前使用過 Goos包，那麽您已經使用過 FS。但是，重要的是要註意os包的 靜態函數 不能用作實現通用接口的 對象。 它不能與其他實現交換，並且您的數據僅在 壹種 存儲中。Go 的io/fs.FS界面讓我們壹瞥可交換文件系統的可能性。使用 HackpadFS，我們可以在不重寫代碼的情況下嘗試各種新的存儲系統。
將相同的數據放入新的存儲中。 照片由Aleksei Ieshkin在Unsplash上拍攝
HackpadFS 附帶了幾個強大的文件系統。其中每壹個都符合 HackpadFS 的新接口和io/fs.FS強大的沖擊力：
將其中壹些組合在壹起可以創建真正創新的程序，而無需對單個存儲系統進行硬編碼。
作為壹個真實的例子，Hackpad現在使用其中的大部分在瀏覽器中構建 Go IDE。查看GitHub 上的源代碼。
尋找靈感來創建自己的 FS？這裏有壹些想法：
Go 1.16 首次推出了新io/fs包，展示了用於實現只讀文件系統的標準接口。它還演示了通過 HTTP 從任何兼容的文件系統通過net/http.FS. HackpadFS 項目受到這種方法的啟發，為所有 Go 程序創建通用接口。早期的靈感也來自spf13/aferoand go-git/go-billy，盡管 HackpadFS 采用了不同的方法，為自定義文件系統提供模塊化接口，並捆綁了嚴格的測試套件以實現嚴格的壹致性。
眾所周知的界面可幫助開發人員制作創意組合，但他們所定義的只是不同系統的交互方式。HackpadFS 通過***享許多模仿 Go和包的小型且可組合的接口來授權開發人員。要實現自定義 FS，您只需要編寫最少的代碼。osio/fs
例如，要創建壹個foo.FS只添加的 new Lstat()，我們可以編寫壹個只有 2 個方法的完整 FS 結構：
處理接口類型可能很棘手，因此 HackpadFS 還包含幫助函數來簡化代碼。現在任何人都可以使用foo.FShelpershackpadfs.Lstat(fooFS, "bar")來避免對泛型進行類型檢查hackpadfs.FS。如果事實證明 FS 不支持相應的接口或兼容的接口，則返回“未實現”錯誤。
那麽，HackpadFS 包含哪些 Go 不包含的內容？這是所有新舊接口的快速細分，以及我們如何擴展它們。
Go 的內置接口包括FS、File、FileInfo和DirEntry. 另壹方面，HackpadFS 為兼容性定義了等效接口，然後再定義了 27 個：
所有這些接口都可以使用您需要的任何功能來組成您自己的 FS。
Go 還實現了幾個幫助函數以使 FS 處理更簡單。HackpadFS 實現了大多數相同的助手，然後還有 23 個：
對我們來說，壹個常見的麻煩來源是處理錯誤。理想情況下，我們可以使用errors.Is()orerrors.As()來檢測某些類型的錯誤，但我們需要檢查的值高度不壹致。有時我們可以檢查標準庫錯誤，例如fs.ErrExist.，但有時我們被迫拉入syscall包以正確檢測諸如“不是目錄”之類的錯誤。
HackpadFS 通過包含壹組行為正確且壹致的統壹錯誤來解決此問題：
最後但並非最不重要的壹點是：如果文件系統不發揮作用，那麽它就是不好的。為了確保嚴格的壹致性，HackpadFS 提供了壹個***享的測試套件，fstest來檢查每個文件系統是否與包的行為相同os。
它旨在易於針對自定義文件系統使用，並且只會對實現它們的文件系統運行特定接口的測試。例如，讓我們測試壹下foo.FS：
兩者fstest.FS()及fstest.File()以上都啟動了大量的子測試。每個子測試調用TestFS()創建新foo.FS實例，然後並行運行它們。由於foo.FS僅實現FSand LstatFS，因此只有那些測試會運行——所有其他測試都將被跳過。文件也是如此：如果返回的文件Open()僅支持讀取操作，則僅運行文件讀取測試。
測試套件是嚴格的，以確保非常嚴格的合規性和與os包行為的壹致性。沒有什麽比壹個不像壹個文件系統更糟糕的了。今天，在文件系統上fstest運行 90次測試和在文件上運行50 次測試，總*** 556 個斷言。它已集成到所有 6 個內置文件系統的 CI 測試中。
我們認為***享通用接口和嚴格的測試套件將有助於為 Go 社區創建壹個強大的文件系統生態系統。HackpadFS 界面的可組合性及其內置文件系統可以在編寫下壹個應用程序時為每個人提供動力。
我們希望您能嘗試壹下 HackpadFS！把它放在壹起真的很有趣，我們很想知道妳是否有反饋。