的发展历史尤其悠久,堪称万年进化史。自文明诞生以来,我们就一直在寻求能够更有效存储信息的方式,从4万年前的洞穴壁画、6000年前泥板上的楔形文字,到今天普及的SSD/闪存,再到对量子存储、DNA存储技术的探索,脚步从未停止。

大数据时代下云存储得到了飞速发展,其成熟过程始终贯穿着“应用的需求”与“技术发展的推动”这两条主线。以硬核实力赋能企业已成为各厂商竞争的焦点,而在此过程中,存储领域更成为决定下一代信息技术成败的战略性新兴产业。本期《问底中国IT技术演变》,我们有幸采访到阿里云研究员、存储业务负责人吴结生博士,就云计算时代存储技术的发展路径,以及阿里云智能在存储领域的产品矩阵、技术迭代以及未来趋势等方面,解剖阿里云的存储技术演进过程,籍此探析整个行业的发展趋势。

云传奇客户端存储立身之本是什么-奇享网

为了满足企业针对不同业务的多样需求,现代存储行业历经30多年的发展,迭代出多种存储产品。例如为解决早期数据增长而出现的DAS和SAN,为解决核心应用高稳定性和高性能而出现的高端存储,为处理非结构化数据而产生的NAS和对象存储,为满足弹性部署而衍生出来的软件定义存储……

为了更清晰地探究出云计算时代存储技术的发展路径以及所应对的挑战,阿里云存储业务负责人吴结生,根据阿里云在存储领域的发展经验,为我们梳理出存储技术的发展与应用方向:

第一,存储与计算的分离。随着数据处理对存储需求和计算需求在规模、速度、容量和成本等维度的不断变化,计算与存储分离可以最大限度地解耦这两类不同的关键资源,使得各自相对独立地扩展和演进。首先,通过解耦,计算与存储这两方面可以在云数据中心分别独立扩展,提供调度和资源共享的灵活性,镁光e die提高资源使用效率,降低成本。其次,计算和存储的技术演进空间变大,可以更加灵活的针对不同的负载进行优化。云盘资源共享搜索,再次,网络技术的高速发展、个位数微秒的延时(latency)、百G级别的带宽、服务器之间的边界越来越模糊,使得计算和存储分离、分布式存储等架构在稳定性和性能等领域变得更加高效和有生命力。

第二,标准化、服务化与开放化的演进路径。首先,提供诸如块存储和文件存储等标准化的存储方式,这些类型的存储具备标准化的接口,使客户能够直接迁移数据,避免了应用的大量修改;其次,向服务化的方向发展。在传统的存储模式下,用户需要大量的设备管理与维护升级,而在云计算时代,云存储将其演化成一种云服务,用户只需要关心自己的业务逻辑与创新即可;另外,更加开放。存储云服务提供很多管理与控制的API,现在将其开放出来,使得用户可以通过编程调用API,管理与监控存储资源,以及实现跨平台的管理。

第三,垂直领域和典型场景的深度集成设计。数据库、大数据处理和分析、人工智能、容器等领域具有自身的特点,所以存储技术针对以上典型场景也进行了相应的集成设计,结合场景的特点进行适配和优化,提高与场景结合的端到端优化能力和存储的效率。

对于企业和用户而言,使用云计算有着诸多好处,云提供了灵活的弹性伸缩、弹性存储容量、安全可靠、高可用性和稳定的性能等能力。但是,云存储在发展的过程中也面临着诸多挑战,为满足云时代发展的需求,吴结生为我们总结了新一代存储要不断演进,跟上需求演进的变化,进一步通过技术牵引去创造更多的变化。

容量海量化,需要持续的成本优化技术来满足数据的爆炸式增长需求;存储速度化,读写速度和数据处理速度不断加速;数据来源和数据形态越来越多样化;数据是新石油,是数字化经济的基础;存储需要加强数据清洗、数据安全、数据处理方面的能力,提供真实、可信和安全的数据,帮助企业或机构挖掘数据的价值,实现数字经济中数据价值。针对这五个方向和不断演进的需求变化,阿里云已在存储领域完成全面布局,包括块存储和对象存储在内的云上存储家族,混合云存储阵列、混合云备份和容灾的混合云存储服务,以及高性能分布式存储和数据库存储等典型场景存储方案。

了解了云时代存储的发展路径过后,接下来不妨让我们看看阿里云存储的技术演进历史,从而更直观地了解云存储在数字化转型中的核心价值。作为阿里云飞天系统中极其重要的一环,阿里云存储不仅满足了“双11”等大规模业务场景对存储系统的超高要求,提供丰富完整的公共云和混合云存储产品矩阵,还通过客户数据中心和边缘局点到云上的整体存储解决方案,打破了数据存储和流通的边界,满足了企业的多样化需求,为企业数字化转型提供了数据核心价值。

“越过山丘,才发现那里已无人等候。。.。。.”,这是去年阿里云存储新品发布会中的一句话。这句话低调地彰显了阿里云的领导者地位,也恰好是阿里云存储在成长道路上坚守与收获的写照。

2008年,为了探索阿里巴巴集团大规模存储解决之道,阿里云存储团队应运而生。

2009年,阿里云分布式存储引擎1.0(盘古PanGu)正式发布,为弹性计算虚拟机、阿里金融、邮箱、搜索提供通用存储服务。

2013年,阿里云分布式存储系统实现单集群5000台服务器规模的部署,服务阿里巴巴电商业务和蚂蚁支付宝业务。

2015年,成功实现了单集群10000台服务器规模的部署,拥有云计算产业中最齐全的存储产品线,成长与效率跃居榜首。同年还打破了Sort Benchmark世界记录,100TB排序完成时间仅需377秒。

2016年,CloudSort项目中,阿里云以1.44$/TB的成绩获得Indy专用目的排序和Daytona通用目的排序两个子项的世界冠军,打破了AWS在2014年创造的纪录4.51$/TB。

2018年,面向人工智能、科学计算、深度学习等未来存储场景,阿里云分布式存储引擎2.0正式发布,这不仅证明了阿里云存储历经十年的超强能力,更意味着阿里云存储再次引领了云存储与企业存储、传统存储的破局之争。

2019年,阿里云携ESSD高性能云盘,领跑微秒存储时代,正式吹响了进军企业存储市场的号角。

阿里云存储在十一年的发展历程中,不断推出重磅新品与取得傲人成绩,绝不仅仅是为了快速追赶业内标杆厂商。更重要的是,彰显了阿里云为满足全球用户的业务需求,所沉淀的独到见解和创新。随着更多贴近用户应用的数据管理功能的推出以及生态的构建,我们可以感知到阿里云存储背后的思考。

在安全方面,对象存储服务在国外成熟市场得到广泛认可,很多企业的核心业务信息都存储在上面。但是在中国,对象存储的普及度还有待提升,数据安全的加强有助于改变这一现状。对此,阿里云对象存储也在更新重点,剑指数据安全。据了解,阿里云存储全线产品都具备全面的“数据加密”能力,其中对象存储OSS提供包括KMS密钥、BYOK密钥、OSS托管密钥等5种加密方式,完成服务端数据加密和客户端线下加密等多种灵活形式。

在性能方面,随着全闪存的普及和高性能网络的发展,数据中心进入“微秒时代”。起初,10万IOPS已是非常高的性能;而十年后的今天,百万、千万IOPS已经成为多家厂商宣传的主题词。据介绍,作为全球首个百万IOPS的企业级云盘,阿里云ESSD搭配ECS云服务器使用,可提供单盘高达100万IOPS的随机读写能力,单路写时延 100 微秒。相比前一代的SSD云盘性能提升了40倍,读写时延降低了70% 。同时,ESSD云盘支持不停机扩展容量、不停机提高IO读写性能上限、数据加密等高级数据服务功能,具备企业级存储的前沿技术创新能力。

在数据智能管理方面,打破数据孤岛以形成有效的联动成为当务之急。对此,阿里云提供了丰富的数据管理功能,通过数据分析系统挖掘数据价值。其中日志服务的AIOps分析功能面向趋势预测、异常发现、智能聚类和根因分析四个场景,提升DevOps分析和诊断的效率,帮助运维人员提前配置资源,提前预测、发现和解决常见故障。

在降低成本方面。每年双11创造奇迹的背后,是巨大的成本投入;另一方面,在数据时代,随着各种大数据处理框架不断涌现,成千上万的数据分析需求背后是大量的计算任务,占用了大量的计算资源。此时,阿里云数据中心利用混部技术,将集群混合起来,将不同类型的任务调度到同一批物理资源上,通过调度、资源隔离等控制手段, 在保障SLA的基础上,充分使用资源,极大降低了成本。

化挑战为机遇,阿里云存储营收过去三年增长超过10倍,存储容量增长12倍,其中SSD容量增长超10倍。十余年的存储进化,让阿里云更新迭代了涵盖公共云、混合云和边缘计算在内的全球最完整存储产品线,面向万物智能时代,定义下一代存储,更安全、更稳定、更优化、更智能,让用户无缝上云。

如今,人工智能的高速发展,彻底改变了人类的工作方式、生活方式和思维方式,也实现了生产力的整体跃升和社会治理的新变革。随着计算力的不断突破,人工智能的技术也在日趋成熟,越来越多的企业开始将人工智能技术融入行业应用中。而作为传统行业的存储,经历了一轮又一轮技术市场洗牌,而今面对人工智能技术时,又将如何撬动市场的新需求呢?

对此,吴结生表示,在与人工智能的融合中,阿里云存储正在做两方面的实践与探索:一方面是思考人工智能技术如何运用到存储系统中;另一方面也在践行存储系统如何更好地服务和支持人工智能计算,从而更好地普惠人工智能技术。两者相互融合,共同促进。

借助人工智能技术,在磁盘、服务与网络等硬件故障的检测中,可以更加准确地预测到故障的发生。在遇到网速变慢等异常状况时,可以做到及时有效的规避,从而使得产品更加稳定,大大降低长尾延迟现象;在智能负载均衡与调度中,利用人工智能技术,能够提前进行负载均衡,避免热点与不均衡;在数据的置放策略中,可以根据对冷热数据的分析判断,以及客户访问的规则与模式,将不同类型的数据进行分类,安排不同的置放策略,从而提高总体系统效能,以便实现更加智能的分级存储(Tiering)。

同时,阿里云针对机器学习与人工智能计算的场景,推出了高性能并行文件系统(CPFS:Cloud Parallel File System),已经广泛应用于智能驾驶、生命科学和基因计算等场景。CPFS也被广泛使用在高性能计算领域,与阿里云的弹性高性能计算(E-HPC)一起提供服务化和商业化的高性能计算,不仅如此,还承担了“国之重器”之一的“天眼”工程(500米口径球面射电望远镜 FAST 系统)的存储解决方案,助力人类对宇宙的不懈探索。

另外,随着图片和视频内容的不断产生,急需对其进行智能的分析,阿里云的智能媒体管理系统(IMM)将先进的分析算法与存储相结合,通过简单便利的调用接口,使得中小客户也可以享用到阿里云和达摩院的人工智能能力,普惠人工智能技术。这些智能服务能力也经历了“双11”场景的打磨,积累的最佳实践转化为产品的能力,复制到更多的客户。

人工智能可以激活存储的新变革,而借助存储来服务人工智能计算,又能够让人工智能走上普惠的道路,这样相辅相成的融合可谓绝妙。可预见的是,存储技术将会与人工智能技术不断融合,这也有利于存储技术的更新换代,更好地支撑业务的快速发展,最终具备技术扩展业务边界以及业务向技术拿红利的能力。

另外,阿里云存储将高性能存储网络作为分布式存储的基石,联合整个阿里云网络和基础设施团队进行迭代式创新,从25G的网络到现在的100G网络,高性能存储网络已经取得了很大的进步,在稳定性和性能方面将会持续创新。最后,在数据中心级别的均衡规划中,还需要更高级别和更大规模的设计。谈及阿里云存储未来的部署与计划时,吴结生强调,为客户创造更多的价值才能让阿里云更有价值。

在快速迭代的技术面前,阿里云存储以稳定、安全、可靠为立身之本,并利用智能技术的新元素赋能存储,以普惠智能决策与智能计算。不难看出,阿里云存储的创新活力,不仅拓展了云存储的边界,更在广阔的企业级存储市场中创造了更多的可能。

本课程包含许多工作中会遇到的问题及解决方案,解决大家工作当中遇到的问题。非常适合刚刚入门的同学来学习linux基础入门。

弹性块存储(Elastic Block Storage)是近年来利用云存储的灵活性和简单性如何得到改....

使用云存储的另一个优点是它会自动创建数据的异地副本。组织无需为配备灾难恢复数据中心或在其数据中心中维....

云存储革新了传统企业级存储格局,随着公有云厂商逐一进军企业存储,云存储在存储产业中越来越显得格外重要....

据韩国时报报道,行业分析师表示,由于新冠病毒蔓延,韩国股市近期大幅下跌,但三星似乎正受益于无接触式的....

云存储中的一种典型存储方式为分布式存储。在这种方式中,一般采用带外虚拟化的方式管理存储设备,元数据管....

虚拟化改变了计算机使用存储的方式。就像物理机器抽象成虚拟机(VM:Virtual Machine)一....

数据增长给企业IT部门带来了巨大压力,在很多情况下,IT管理人员采用云存储以帮助他们应对数据增长。

要想实现智能,单单依靠内置智能的操作系统显然是不够的。在未来,现代科技还将会继续创造一个个奇迹,不断....

云计算根本不是一种产品或特定技术,而是许多功能的组合。其功能使IT基础设施资源、应用程序和服务能够按....

云基础设施可以减少大量与维护物理基础设施和人员相关的成本,并革新企业的业务运维方式,尤其是小企业。

辛国斌表示,要进一步加大力度推动工业通信业重大项目加快开工建设,加快5G网络、物联网、大数据、人工智....

视频监控进入网络化时代以后,越来越多融入IT新兴技术,大数据技术在视频监控领域的广阔发展路径已经显现

随着网络带宽的增加与网速的提高,VSaaS服务商可以通过互联网直接连接前端摄像机与后端平台,服务商只....

近期因疫情影响、大多数人的工作、出行、饮食以及购物习惯有所改变,在搜寻数据亦显示人工智能、大数据、数....

现阶段的安防行业中,人脸识别、车牌识别技术应用最为广泛与成熟,为此,现阶段“安防+AI”市场中,视频....

在大数据技术的推动下,随着数据价值的不断提高,关于个人隐私的安全问题受到了更多的关注,关于如何在大数....

传统汽车中,各种汽车的数据大多在仪表盘上展示,而互联网汽车会有大的液晶屏来显示这些信息,但是,如果车....

信息和业务数据是任何公司最有价值的资产。企业家越来越认识到这些数据对于他们在当前市场经济中取得成功的....

谷歌云服务器上发现庞大的未受保护数据库,一个汇总了12亿用户个人信息的数据库被发现毫无保护的存在于某....

商业智能是企业界的流行词。为了实现所述的智能,采用算法和预测分析,并且对于该大数据是先决条件。

智能楼宇主要是对楼宇内的机电设备进行监控管理。随着技术的发展,当前智能楼宇的概念有所延伸,不仅包括传....

大数据、人工智能等高科技有力地推动力我国疫情防控工作,起到了不可替代的作用。

经过多年深耕,佳华科技在物联网领域形成了物联网感知设备设计、集成技术根基,积累了丰富的一线工程能力,....

在云计算和边缘计算中,业界渴求能够支持各种应用的高性能。为了满足这一需求,数据中心、网络集群和边缘计....

依靠单个云计算供应商的云平台,企业就可以获得其提供的云计算服务。添加这些服务通常是无缝的。

5G即将到来,并且大多数人都在寻求重大突破。就云计算而言,5G可能已经成熟。

组织需要制定一种策略来解决有关统一通信(UC)安全性、会话发起协议(SIP)中继和VoIP合规性的问....

早期的SD-WAN产品为组织提供了一种停用MPLS链接,将分支机构直接连接到云平台,并优化WAN流量....

随着企业需要获得新的云计算服务,他们通常会从多个云计算服务提供商(CSP)中选择,因此需要处理使用两....

绝大部分的网络流量都流向了云端、边缘及终端。无论企业用户们身处何处或采用何种设备,他们都需要直接且无....

与边缘计算不同,如果使用云计算技术,则可以将处理所有数据并将其存储在远程数据中心或服务器中。任何需要....

许多物联网设备从各种传感器收集数据。柔然然后将数据传输到云计算系统进行分析,并将其输入到各种业务系统中。

工信部办公厅公布关于推动工业互联网加快发展的通知,通知提出加快新型基础设施建设,加快国家工业互联网大....

2020年,新型冠状病毒席卷了整个中国,同时也在促进着产业的变革与生活变化。 电子发烧友在此期间推出【战疫专题】活...

2019,SpeedBI数据分析云为在企业与数据间架起更顺畅高效的沟通桥梁上狠下功夫,全面升级打造更强、更优、更高效的...

由于受嵌入式设备资源的限制,SQLite凭借其轻小的优势在嵌入式系统的数据处理中独占鳌头,装机总量超过千亿台,远远...

2020第十二届北京国际数据中心技术设备展览会 2020 the 12th beijing international data center technology equipme...

在不远的未来,借助传感器、3G无线和云计算技术,实现无时不在的人体健康监控。 位于北京海淀区知春路希格玛大厦五层...

物联网应用技术中,嵌入式技术是至关重要的。但是,至少有60%的人不了解什么是嵌入式技术。物联网时代的到来,不管是从...