歡迎光臨科技資訊網

          curvedatabase(curvedata)

          時間:2023-12-10 02:18:22作者:科技資訊網 分類: 無線 瀏覽:64

          Curve社區簽署阿裏巴巴開源CLA(貢獻許可協議),並正式攜手阿裏雲PolarDB開源數據庫社區,成為繼CurveFS發布後Curve開源項目發展的又一裏程碑。

          在3月2日開源POLARDB企業級架構大會上,阿裏雲對POLARDBforPostgreSQL的存儲計算分離等架構設計進行了全麵解讀。Curve作為PolarDB技術合作夥伴,為PolarDBforPostgreSQL提供分布式架構。共享存儲,其強大的性能引起了社會的關注。

          curvedatabase(curvedata)

          這也表明,作為網易數飯自主研發並開源的第二款基礎軟件產品,Curve正在朝著高性能、易運維、全場景支持的雲原生軟件定義存儲係統的目標穩步演進。

          打造最強大的開源分布式共享存儲

          作為雲原生分布式數據庫產品,PolarDBforPostgreSQL采用基於共享存儲(Shared-Storage)的存儲計算分離架構,顯著提升資源利用率和性能,實現對突發業務負載場景的快速彈性響應。Shared-Storage將數據存儲在遠程存儲的共享方式有利於靈活性,但也帶來了網絡和共享存儲的挑戰。因此,必須克服I/O限製,以保證業務所需的性能。

          在On-Premise(本地部署)環境中,開源存儲是最好的,但是能夠滿足數據庫性能要求的開源存儲並不多。我們嚐試了多種(開源存儲)軟件作為分布式共享存儲,Curve的測試結果讓我們眼前一亮。PolarDBforPostgreSQL研發負責人明旭表示。

          Curve目前由兩個子項目CurveBS和CurveFS組成,分別提供塊存儲和文件存儲能力。CurveBS用於共享存儲。CurveBS在開源之初提供的性能遠遠優於主流開源分布式塊存儲。經過一年多的社區迭代,CurveBS的性能和穩定性已經日趨成熟。

          在Curve社區和PolarDB社區針對PolarDBforPostgreSQL場景的聯合測試中,Curve在benchmarkSQL和pgbench上再次超越了這款開源分布式塊存儲。在相同的硬件配置和數據庫負載壓力下,CurvetpmC(每分鍾事務數)在benchmarkSQL測試中高達39%,Curve延遲在pgbench測試中降低高達21%,TPS高達26%。

          Curve的高性能得益於其采用了chunkfilepool、條帶化設計、Raft等先進技術架構。chunkfilepool支持在集群初始化時創建指定大小的文件,減少I/O過程中文件元數據更新的開銷,從而降低I/O延遲。條帶化設計支持Curve客戶端分片,提高I/O並發性和分散性,讓更多節點參與I/O處理,增加I/O帶寬。與前述開源存儲係統的強一致性相比,Raft的一致性實現還縮短了長尾效應,從而縮短了I/O延遲。

          此外,Curve通過支持PFS(PolarDB的分布式文件係統),使雲原生數據庫更容易使用Curve分布式存儲並獲得更好的性能。

          未來,Curve社區將繼續致力於性能優化,從braft的multiraft改進、大I/O、RDMA、io_uring等性能優化入手。

          實施開源雲原生軟件定義存儲

          對PolarDBforPostgreSQL的良好支持也體現了Curve在托管雲原生工作負載方麵的態度和進展。在當前數字化轉型的背景下,越來越多的企業通過軟件重新定義自己,而雲原生是強化企業軟件能力的重要武器。——根據CNCF2020年全球雲原生市場調查,92%的受訪者在生產中使用了該技術。

          在存儲基礎設施層,Curve社區認為,與傳統雲存儲資源的黑匣子不同,雲原生存儲上的所有存儲資源都應該是白匣子,所有雲原生應用無需修改即可無縫使用。

          基於此,雲原生存儲向上層雲原生應用提供無縫的業務接口(POSIX接口、塊存儲接口、對象存儲接口、HDFS接口等),對下層雲操作係統屏蔽雲存儲資源細節,並保護雲原生應用程序免受雲原生應用程序的影響。開發和運維人員提供自定義存儲類型、存儲資源池(跨雲)、數據生命周期管理、數據可靠性和可用性策略等。

          正如你在CurveRoadmap中看到的,開源社區正在這些方向上努力。例如,支持雲原生部署、運維和使用已經是Curve的一個關鍵特性。事實上,Curve簡單的架構和靈活的運維部署是吸引PolarDB的另一個重要因素。

          相關推薦

          猜你喜歡