智汇工业-智慧工业、智能制造及工业智能、工业互联门户网站,专业的工业“互联网+”传媒

青云創新架構賦能下一代文件存儲

來源: e-works數字化企業網

點擊:1569

A+ A-

所屬頻道:新聞中心

關鍵詞:云計算 青云

    在7月27日舉辦的Cloud Insight Conference 2018云計算峰會上,青云QingCloud推出一系列新產品和新功能,涵蓋云平臺、超融合、軟件定義存儲、容器、統一云管、云應用管理、基礎設施與骨干網等,完善企業級云模式ICT產品線布局,持續發力企業級市場。青云QingCloud 存儲高級技術專家寧安接受e-works記者采訪,分享了青云QingCloud致力于下一代文件存儲的產品和戰略。

    青云創新架構賦能下一代文件存儲

    隨著IT技術的發展,企業數據正以爆炸式速度增長。從企業的信息化系統、移動互聯應用、再到物聯網的大勢所趨,數據已經成為企業發展至關重要的生產要素。

    一方面,數據海洋使得企業對于大數據的存儲和分析需求增多,IT面臨著越來越多的挑戰;另一方面,軟件定義存儲(SDS)正在成為未來存儲的主流方向,越來越多的存儲解決方案在涌現,為企業用戶有效解決數據存儲、遷移、管理和保護。

    根據IDC與Wikibon預測,中國未來幾年的SDS市場年均增長率將達31.55%,2021年規模將達8.6億美金。Gartner 2017年對中國SDS市場分析中指出,越來越多的非結構化數據正存放在由軟件定義存儲管理的低成本存儲設備上,這其中,文件存儲在當前市場需求中占據64.7%的主流份額,遠高于塊存儲25%和對象存儲10.3%的占比。

    企業級文件存儲發展趨勢

    企業級文件存儲的應用場景非常廣泛,不管是金融、制造、傳媒娛樂、廣電等諸多行業,都需要文件存儲應用。特別是對于制造業而言,海量終端設備帶來數據量的大幅增加,對于存儲的需求也隨之增長。

    與此同時,文檔內容管理目標也正在產生改變。一方面,企業產生的數據量呈指數級增長,信息資源爆炸式激增;另一方面,越來越多的非結構化數據正在誕生,IDC有報告指出,80%的企業數據將為非結構化數據。這意味著傳統的信息資源管理技術已經無法應對大數據時代的挑戰。

    縱觀企業級文件存儲的發展趨勢,2000年以前,主流的存儲方案是采用傳統的NAS硬件存儲方案。這一時期,硬件控制器決定了存儲系統的性能上限和容量上限,其資源難以被多系統共享,擴展性差、成本高。對于大多數企業而言,內部文件存儲往往采用公司自己架設或者購買的服務器來作為存儲介質。這種方式不僅成本較高,就安全性而言,也存在不少弊端。

    2000年以后逐漸出現了分布式文件系統,主要分為兩種架構:一種是以Hadoop HDFS和LusterFS為代表的集中式索引架構,這種架構的文件數量會受到單節點和索引節點容量限制;第二種是全對等Hash架構,完全拋棄單獨的索引節點,其代表是GLuster和Ceph,這種架構的弊端在于擴展擴容不方便,一致性較差。

    未來,是否將誕生下一代文件存儲?下一代文件存儲需要具備哪些特征?青云QingCloud 存儲高級技術專家寧安接受e-works記者采訪時指出,“未來的文件存儲至少需要滿足四大特性:首先,全面支持云應用,無縫兼容傳統應用;第二,按需使用,彈性擴容;第三,智能管理與運維,避免人工運維帶來的很多成本問題;第四,實現高可用,保證7*24小時可用。”

    Ceph架構下文件存儲的優劣

    在寧安看來,盡管Ceph是呼聲很高的開源分布式的SDS產品存儲系統,同時提供對象存儲、塊存儲和文件存儲三種功能,但仍存在著一定的短板和局限。

    客觀來看,Ceph架構的優勢在于其擴展性,它的性能會隨著磁盤數量線性增長,能夠降低硬件成本和運維成本,但它的復雜性會帶來較高的學習成本。
    寧安在采訪中介紹,如果用Ceph架構文件存儲功能,通常會有三種方案:

    其一,采用CephFS接口,當前仍是不穩定狀態,不適合生產部署。此外,它的元數據服務是單點的,因此無法分布式部署;

    第二種采用Ceph的塊存儲接口,通過塊設備掛載到一個機器上,格式化本地文件系統,再對文件系統做NFS服務來暴露數據。這種方法的問題在于它只有一個單點,因為本地系統的限制,無法同時掛載兩個,所以無法負載均衡;

    第三種基于Ceph的對象存儲接口+FUSE的掛載來轉化協議。這種方法的問題在于性能比較差,因為有協議轉換的損耗,而且這是對象存儲接口,限制不能隨機修改。

    由此也帶來Ceph架構四個方面的問題:

    首先是數據一致性問題。因為多份Hash在不同客戶端有不同的狀態,難以維持各個客戶端狀態一致,而Ceph架構的主要特點在于依賴客戶端Hash實現數據定位,所以Ceph架構存在數據一致性問題;

    其次是高可用問題,節點恢復和無法遷移時,需要改變Hash區間分布,一邊改變一邊遷移就會影響數據一致性訪問。為了闡述Ceph存在的高可用缺陷,寧安舉了一個真實案例:某大型企業有40多個節點的Ceph集群,某天兩塊硬盤同時出現故障,由于這兩塊壞硬盤的數據遷移恢復了10小時,過程中有部分數據是不能訪問的;

    第三是Ceph擴展性問題,這也是由Hash引發的問題。其擴容時每次只能增加一臺,假如增加兩臺,Hash會受到損壞。擴容時只能等一臺數據遷移完畢后,才能增加下一臺。所以無法對它進行緊急擴容,只能一點點去做。

    第四運維復雜,企業需要投入大量的人力、物力成本,甚至需要招聘特別懂Ceph的工程師。

    青云QingCloud面向下一代的文件存儲

    為了順應下一代文件存儲四大特征,QingStor文件存儲提出了三大創新架構:

    首先,基于分布式塊存儲NeonSAN。它是具有高性能、強一致的塊存儲,沒有本地文件系統在里面,涵蓋分布式網關和NeonSAN兩類節點;

    第二,無限水平擴展。通過目錄和文件分離存儲的架構,元數據層存儲所有索引目錄,可以定位文件具體位置。還有一個組件是控制層,負責下層塊設備的空間分配和事務管理;

    第三,并行處理架構。所有的網關節點和NeonSAN節點是全互聯的關系,每個節點之間都可以相互訪問,且是通過最短路徑。集群內數據復制與業務訪問分離,分別通過不同的網絡,因此在數據遷移和擴容時,不會對業務有任何影響。

    青云創新架構賦能下一代文件存儲

    寧安說,“基于QingStor文件存儲的三大創新架構,QingStor文件存儲的企業級特性可以做到安全可靠、強一致、高可用,并且具有超高性能、彈性可調,同時對成本做出了優化。”
    除此之外,青云QingCloud面向下一代的QingStor文件存儲還具備部署靈活和可視化管理的特性。

    在部署環節,QingStor文件存儲可以支持最小規模3節點的存儲網關部署,與3節點塊存儲部署;對于網絡,也沒有特別要求,企業能夠利用現有的交換機去部署TCP/IP網絡,內部數據通信通過基于以太網的RDMA (RoCE),做到低延遲的數據復制;另外,企業可選的存儲介質包括全閃存、在SATA基礎上做SSD緩存加速,以及純SATA。

    為了更好地進行文件存儲管理,QingStor開發了可視化管理的Portal,QingStor文件存儲可以在Portal上,對于系統資源池進行管理,也能對于上層文件系統空間做管理,對于整個系統的運行狀態和告警可以一覽無余。

    據了解,面向下一代的QingStor文件存儲是青云QingCloud三款存儲產品之一,另外還包括塊存儲方案NeonSAN,以塊驅動的方式來暴露訪問結果,適用于數據庫和虛擬化場景;以及對象存儲方案,能夠存儲海量的非結構化數據,是以HTTP API的方式暴露結果,主要面向新型web應用。


    (審核編輯: 智匯胡妮)

    聲明:除特別說明之外,新聞內容及圖片均來自網絡及各大主流媒體。版權歸原作者所有。如認為內容侵權,請聯系我們刪除。

    主站蜘蛛池模板: 化妆粉扑厂家【秀兰】一线品牌资格供应商_海绵粉扑批发_气垫粉扑价格_广州秀兰生物科技有限公司 化工招聘网 化工人才网|化工英才网-化工企业招聘首选网站 | 气泡式洗菜机-气泡喷淋清洗机-喷淋清洗风干线-诸城市迪凯工业装备有限公司 | 重庆宏工_隧道取芯钻机_公路护栏钻机-车载式钻机_打钻一体机_护栏抢修车_隧道钻机-工程机械 | 陕西锐锋建筑安装有限公司,锐锋建筑,总承包,专业分包,市政综合,劳务,水电钢构,铁路公路,房建,房屋建筑施工 | 研线网-考研网-考研科目/时间/专业-研线网 | 压力机-压装机-黄油机-黄油泵-[广东品嘉灵]专业定制各种精密压装设备 | 泰安led显示屏-泰安户外裸眼3D显示屏-扩声系统-舞台灯光机械-电子屏-肥城宁阳新泰东平-泰安市奇美特电子有限公司 | 橡皮艇_冲锋舟_充气钓鱼船_橡皮艇价格_海威龙橡皮艇生产厂家-首页 | 深圳专利申请-深圳商标注册-深圳国高认定 - 深弘知识产权 | 新房_二手房_别墅_全包装修-天美艺装饰【官网】-深圳装修公司 | 手板模型-温州手板模-快速成型厂家-温州星科模具加工厂 | 宿迁网站建设-宿迁做网站-宿迁网站制作-宿迁网络公司-宿迁网页设计-宿迁软件开发-宿迁新动力软件开发有限公司 | 网络舆情_网络舆情监控系统_舆情监测软件_舆情监控平台-北鲲舆情 | 长兴嘉诚炉业有限公司【官网】| 卷帘门,防火卷帘,快速门,硬质快速门,提升门,伸缩门,堆积门,车库门维修-烟台捷曼门业有限公司 | 陕西硅酸钙板厂家_西安水泥压力板-陕西凯盛达建材科技有限公司 | 石家庄德迈机电设备有限公司 | 网站建设_定制网站_高端网页设计开发_建站公司_深圳湉晨网络 | 土壤碳通量-土壤水势传感器-涡度相关-北京力高泰科技有限公司 | 温州网络公司_网站建设_网络营销策划_阿里淘宝店铺服务-温州聚欣网络科技有限公司 | 品润财税_广州公司注册_南沙代理记账服务_危化证出口退税外国人工作签证代办 | 停车场收费管理系统,通道闸系统,门禁系统,东莞停车场收费管理系统,东莞通道闸系统,-东莞市骄阳交通设备有限公司 | 喷涂流水线,喷漆流水线-山东天意设备科技| 天津高压泵-高压清洗机-高压柱塞泵-厂家-价格-天津高压泵格瑞德 天津翻译公司盖章|022-58385822| 翰文博译(天津)商务咨询有限公司 | 专业提供医疗器械,医疗设备,进口国产医疗设备,医疗耗材采购,医疗设备厂家等医疗器械信息-上海聚慕医疗器械有限公司 | 停车场收费管理系统,通道闸系统,门禁系统,东莞停车场收费管理系统,东莞通道闸系统,-东莞市骄阳交通设备有限公司 | 天猫代运营_淘宝代运营_正规电商代运营公司_武汉火蝠电商 | 小程序定制,小程序开发,北京小程序公司,网站建设,网站制作,北京网站建设,北京网站制作 | 氯化氢钢瓶回收_氯化氢气体钢瓶回收_山东言赫化工有限公司 | 首页 网络安全与数据治理(原《信息技术与网络安全》) | 深圳沃亚游学官网丨国外游学丨国际夏冬令营丨美国游学线路丨出国短期游学丨亲子海外游丨游学咨询: 0755-83843308 | 家居网链网—家居产业互联网价值平台 | 西安泰富西玛电机有限公司总部-电机-高压电机-西玛电机-西安西玛电机-泰富西玛电机-西安电机厂-西玛电机销售 | 微孔板恒温振荡器-超声波探伤试块-微孔板迷你离心机-南京互川电子有限公司 | 康拓威技术(深圳)有限公司|Theia镜头代理商|安讯士AXIS摄像机|安讯士监控系统|博世BOSCH监控|博世会议系统|索尼SONY监控|松下PANASONIC监控|三星韩华SAMSUNG监控|霍尼韦尔Honeywell|海康|大华|华为监控|Theia无畸变镜头|AXIS监控|安讯视摄像机 | 泰安铭德机械有限公司,有机肥设备,山东有机肥设备厂家,铭德机械 泰安华特玻璃钢有限公司|泰安玻璃钢|泰安华特玻璃钢 | 螺旋输送机_无轴螺旋输送机_绞龙螺旋输送机- 河北品丞环保机械有限公司 | 天天生活网_实用的生活常识网站、有趣的生活点滴小妙招分享 | 芜湖净水设备-纯水设备-无负压供水设备-不锈钢水箱-芜湖市百川给水设备有限责任公司 | 永磁变频空压机_青岛空压机_螺杆空压机_口罩专用空压机-青岛凯瑞特机电设备有限公司 | 配重铁砂|合金钢丸|山东铁砂|济南嘉日金属制品有限公司 |