破解海量异构数据存储难题,分布式大行其道

2022-03-25 14:57:25   来源:商业新知网

3 月 23 日,在曙光举办的技术圆桌派上,来自业内的多位专家就数字化转型与分布式存储发展趋势展开了深入讨论。

支撑海量数据

分布式存储该如何应战

步入数字经济时代,无论是产业数字化还是数字产业化,都为存储的发展带来了更好的机遇。

伴随着云计算、大数据、物联网等信息技术的快速发展,以及传统产业的数字化转型,新技术的应用与推广带来了海量数据的规模化聚集。用户对存储系统的稳定性、性能和弹性扩展能力有着更高的期待。而传统集中式存储“烟囱式”的部署模式在扩展性和管理上遇到了非常多的挑战。

从用户需求层面进一步分析,海量数据激增导致了存储在空间扩展上面临瓶颈;多场景、多类型的数据需要多种协议来支持;未来的存储系统必须支撑多样化的应用。

“ 2021 年,分布式存储和云存储在销售量和销售额方面的增速分别达到 30% 和 20% ,相较于传统存储的 20% 和 8% ,分布式存储远胜于传统存储。”赛迪顾问业务总监高丹分析了 2021 年存储市场格局。

“面对海量爆发的数据,以前传统集中式的存储已经不是最优选了。”中科曙光存储事业部副总经理张新凤表示,“对分布式存储本身来说,破解海量数据存储难题,也是有非常多的挑战。”

如何应对?首先,就是解决海量数据的存储。海量存储不简简单单的设备堆叠,技术难度是指数级增长的。要看厂商是否有丰富的超大部署规模和实施经验。其次海量数据存储是否能对 5G 、 AI 、区块链等新技术有更好的支持。这就需要统一协议的支持,打通从数据的采集、应用、分析到归档的链路,做到异构数据的融合。最后,针对用户的实际应用,在产品性能和功能上做到深度定制。

自研优势尽显

曙光分布式存储领跑市场

“存储是一个需要很深的技术积累和很大资金投入的市场。曙光推出的产品是自研的。自研路线无论是从客户节约成本的角度,还是从安全的角度来说,都是一条比较好的技术路线。”高丹表示。

“曙光做存储,一开始就选择了分布式存储路线。”张新凤介绍, 2009 年,曙光推出了第一代全自主研发的分布式存储系统 ParaStor ,基于 POSIX 协议,在做数据处理的时候有很好的性能体验; 2013 年,数据中心已经开始比较规模化的部署,这时我们完成了对 NAS 共享的支持; 2019 年,基本各个行业都在普及云化,我们为了解决业务上云的问题,又推出分布式块协议;现在,曙光分布式存储系统 ParaStor 完成了对文件、块、对象和大数据协议的支持,基本覆盖所有应用场景。

在分布式存储的研发和应用方面,曙光的优势主要体现在:基于十年自主研发的积累,能够更快地把握市场趋势,推出满足用户应用需求的产品,且在产品功能和性能指标上具备核心优势;具有超大规模分布式存储系统部署经验,通常可以支持 5000 个节点,甚至更大规模的部署;能够提供按需定制的服务,满足用户的个性化需求。

助力产业数字化转型

曙光成就最佳实践

“分布式的应用越来越广泛,但细化到具体的应用场景,又会发现应用需求是千差万别的。”面对当前分布式存储多样化的应用需求,张新凤表示,“要快速响应市场需求,推出合适的产品。首先要有强有力的团队支撑,其次是对行业的深耕和理解。基于以上两者的优势,我们面向用户推出了定制化的产品及运维服务。”

自研的曙光分布式统一存储系统 ParaStor ,原生融合文件、对象、块、 HDFS 存储协议,一套存储可轻松应对“ 5G+AI+ 云”时代下海量数据的多样化应用需求,高效助力企业的数字化转型。 ParaStor 可广泛应用于先进计算、气象预报、 EDA 、自动驾驶、遥感测绘、能源勘探、视频监控等领域。

张新凤介绍,在某科研机构气候模拟和科学研究项目中,为了帮助用户解决业务流程时间过长的问题,曙光集结专业研发团队为客户定制加速技术。在计算和存储节点之间,配备了大内存和高速 NVMe 的性能加速节点,把大量 4K 非对齐 IO 在这个节点上先做聚合,再到存储上面。最后用户实测使用性能提升 8 到 10 倍。“对存储技术有了一定的积累,对应用有深入的理解,才能迅速抓住用户需求的痛点,快速响应。”张新凤如是说。

“在石油勘探过程中,数据存储和分析处理的需求呈几何倍数增长,对存储容量以及扩展性都提了很高的要求。石油勘探领域对收集上来的数据,需要提供 TB 级甚至 PB 级的读写性能,以满足前端的密集计算和模拟需求。”中石化石油物探技术研究院信息中心技术主管葛鑫表示。

“在进行舆情数据智能分析时,客户要求系统架构能融合训练、分析及推理,而传统存算一体化的模式就不太适用。”中科天玑区域拓展部总经理刘维秦在分布式存储应用时谈到,“曙光原生对 HDFS 协议的支持,在存算分离的基础上,保证了性能的指数级提升,还可以支持更多大数据的高级功能。”

“未来的存储系统要很好地支撑应用,无论是性能的极致优化,还是功能的定制。”张新凤谈到存储市场未来的发展时表示,“没有一蹴而就的捷径可以走,更多的是天长日久的积累和演进。作为国内第一批做自研分布式存储的厂商,曙光将以更扎实的科研技术、更先进的存储产品、更优质的存储服务,助力产业升级和数字化转型。”

关键词: 存储系统 海量数据

上一篇:
下一篇:
精彩阅读

破解海量异构数据存储难题,分布式大行其道

热点

3月23日,在曙光举办的技术圆桌派上,来自业内的多位专家就数字化转型与分布式存储发展趋势展开了深入讨论。

如何做好一个分析?

热点

如果“干活”的人不能同意,说“不如你来”,那么角色互换,继续合作。最终。必须交付一个分析产出。

国产设计工具靠什么取代Figma?

热点

如果让我选一个更适合拿出来聊聊的工具的话,自然还是即时设计,它做得很早,做的也很好。

墨奇科技携手浪潮信息共建元脑生态,加速AI产业化应用

热点

当下,人工智能正处于迅速发展阶段。

百度飞桨智慧城市核心技术大揭秘—智慧社区篇

热点

社区是城市的关键组成部分,社区治理是围绕社区场景下的人、地、物、情、事的管理与服务。

Firefox 拉黑中国,Figma 断供大疆!

热点

Firefox拉黑中国,Figma断供大疆。

中国互联网的下一场硬仗 | 衣公子

热点

中国互联网的内卷没有理由不停止,一个万亿规模的企业服务市场已经扑面而来。

国内IPv6离“全面通车”还差几步?

热点

对于智能终端设备而言,IP地址是其连接入互联网的“钥匙”。

2022年快消品行业数字化呈现六大发展趋势

热点

快消品企业可以借助数字化的手段来进行产品创新,以满足消费者快速迭代的需求。

重庆市关于组织开展2022年国家科技型中小企业评价工作的通知

热点

重庆市关于组织开展2022年国家科技型中小企业评价工作的通知。

财富

苹果高管:MacStudio设计源于公司几十年来的工作

资讯

苹果公司很少推出全新的Mac,但两位负责Mac Studio的高管说,Mac Studio设计源于苹果公司几十年来的工作。在接受《GQ》杂志的最新采访中

营收增速超50%,绿城中国“规模化”提速

资讯

规模化的绿城已经被市场所熟知,规模化冲刺带来的问题同样惹人注意。3月23日,绿城中国于线上召开2021年度业绩发布会。公司全年目标达成率1

贵州茅台再推新电商平台“能买才是真”

资讯

中国贵州茅台酒厂(集团)有限责任公司(以下简称贵州茅台)将再次推出官方电商平台,这一消息迅速成为业界焦点。3月23日,北京商报记者从贵州

Chrome浏览器推出新扩展程序:不尝试将数据传输给微软账号

资讯

微软近日面向 Chrome 浏览器推出了全新的扩展程序 -- Microsoft Bing InPrivate ,在不尝试将数据传输给微软账号或者设备的情况下运

亚都两款空气净化器不合格,空气净化器行业为何深陷泥潭?

资讯

国家市场监督管理总局网站日前公布的《2021年家用电器产品质量国家监督抽查情况通报》显示,2021年抽查了361家企业生产的372批次产品,涉及

2021年冰箱市场:均价双位数增长高端化趋势明显

资讯

2021年,冰箱市场总体呈现增长态势。受产品结构升级和原材料成本攀升的双重影响,2021年冰箱市场均价呈双位数增长,高端化趋势明显。2021年

315曝光台:美团、去哪儿相继被曝出大数据“杀熟”

资讯

近日,315曝光台上,美团和去哪儿相继被曝出大数据杀熟。今年3月3日,一位匿名用户在黑猫平台 上对在线旅游平台去哪儿发起投诉,他已经在

大数据时代,如何保护个人信息?

资讯

一、大数据时代个人隐私数据泄露已成为全球重大的社会问题随着信息技术的飞速发展,数据化生存已逐渐成为人类社会运行的常态,数据在公共管

3月LPR报价公布:1年期3.7%5年期以上4.6%

资讯

3月LPR(贷款市场报价利率)如期公布。3月21日,中国人民银行授权全国银行间同业拆借中心公布,2022年3月21日LPR):1年期为3 7%,5年期以上为

郭明錤:iPhone14系列“新瓶旧酒”是一种营销策略

资讯

郭明錤认为,iPhone 14系列新瓶旧酒的做法,其实是一种营销策略和财务导向的决策。3月20日消息,天风国际分析师郭明錤在社交媒体表示,iPh

如何做好一个分析?

如果“干活”的人不能同意,说“不如你来”,那么角色互换,继续合作。最终。必须交付一个分析产出。

国产设计工具靠什么取代Figma?

如果让我选一个更适合拿出来聊聊的工具的话,自然还是即时设计,它做得很早,做的也很好。

墨奇科技携手浪潮信息共建元脑生态,加速AI产业化应用

当下,人工智能正处于迅速发展阶段。

百度飞桨智慧城市核心技术大揭秘—智慧社区篇

社区是城市的关键组成部分,社区治理是围绕社区场景下的人、地、物、情、事的管理与服务。

Firefox 拉黑中国,Figma 断供大疆!

Firefox拉黑中国,Figma断供大疆。

为户外劳动者提供便利 重庆已建成665座“劳动者港湾”

  中新网重庆4月22日电 (韩璐 王雪宇)记者22日从重庆市城市管理局获悉,2020年重庆市已建成“劳动者港湾”665座。今年,重庆还将继续建

沈阳警方侦破特大贩卖毒品案 抓获88名涉毒违法犯罪嫌疑人

  中新社沈阳4月22日电 (王景巍)沈阳市公安局22日发布消息,近日,在中国公安部和辽宁省公安厅的指导协调下,历经9个多月,沈阳市公安局

上海警方侦破特大制售假普洱茶案 市场价值高达18亿元

  中新网上海4月22日电 (记者 李姝徵)记者22日从上海警方获悉,2021年3月,上海警方全链条侦破一起销售假冒知名品牌普洱茶案,捣毁制售

西安强化知识产权司法保护 商标权案件占比高

  中新网西安4月22日电 (记者 张一辰)在世界知识产权日即将到来之际,西安市中级人民法院(以下简称:西安中院)22日召开新闻发布会,发

今年5月至明年2月底 江西4A级及以上景区对全国学子免门票

  中新网南昌4月22日电 (记者 李韵涵)记者22日从“红五月·嘉游赣”江西五一假日旅游工作媒体吹风会上获悉,2021年5月1日至2022年2月28

福州乡村公益图书馆:图书“接地气” 门口即是农田

  中新网福州4月22日电 (叶秋云 曾路淇)世界读书日即将来临之际,驾车五十余分钟,记者来到距离福建省福州市30多公里的闽侯县白沙镇马