此页面上的内容需要较新版本的 Adobe Flash Player。

获取 Adobe Flash Player

基础软件

鲲鹏基础软件生态正撑起多样性算力的未来
作者:   来源:IT创事记   日期:2020-10-09

文/IT创事记 祁萌

   与其说这是鲲鹏计算产业的号召力,不如说,这是计算市场本身的号召力。

   在市场面前,没有谁是宿命论者;但每20年1次的计算架构创新,以及随之而来的基础软件与应用软件同步创新规律,还是让领域内的从业者们开始留意市场变化——毕竟,机遇的窗口一旦打开,获得先发优势就有了可能。

   最先系统论述这种可能性的,是一本只有30页的白皮书。当人们在去年华为全联接2019上听到它之后,一些有心人立刻下载了它。

   这本白皮书叫做《鲲鹏计算产业发展白皮书》(简称《白皮书》),由绿色计算产业联盟协同华为技术有限公司、中国电子技术标准化研究院、ARM中国、IDC等会员及相关单位发布。

   它描述了鲲鹏计算产业的未来,也包括了基础软件的未来。

   按照IDC的预测,未来计算产业发展方向必然是多种计算架构共存,而云服务的普及更将会加速这一进程。

   “场景的多样性,带来数据的多样性(如语音、文本、图片、视频等)是这种变化的根本原因,没有一种计算架构可以高效满足所有业务诉求。”《白皮书》指出,计算多样性已经成为必然。

   在1年后的华为全联接2020上,华为鲲鹏生态发展部部长郝应涛再次强调了这种算力的多样性——x86+ARM+NPU+GPU。

   “进入万物互联网时代,5G、云、AI加速了数据的产生与流动,这让数据迎来爆炸式增长,其中非结构化数据的增长尤为快速。”郝应涛引用预测数据(IDC,Huawei GIV)说,到2025年,全球新增数据将达180ZB,其中80%以上是非结构化数据。

   无论是因为算力多样性的判断,还是因为这些关于非结构化数据的预测,在鲲鹏计算产业新莺初啼1年后,那些早早相信了鲲鹏计算产业未来的人们,已经在基础软件的窗口期进入了第一梯队。

   按照华为全联接2019宣布的基础软件开源计划,如openEuler操作系统在2019年12月31日开源等。经过9个月的高速发展,已有超过2000名贡献者,超过70+SIG兴趣组,以及超过60家国内领先企业参与其中。

   这距离早期提出针对鲲鹏计算产业的开源软件方法论,也不过1年时间——考虑到早期生态的单薄,当时,华为希望通过包括建立openeuler.org社区,开源OS源代码等一系列方法,来缩短厂家构建基于openEuler的发行版OS的开发周期。

   而1年后,“中国TOP6操作系统厂家已经加入社区并发布了商业发行版,其中麒麟软件公司已经成为社区第二大贡献者、规模商用节奏最快。”郝应涛说,此外,还包括了稍晚完成开源的openGauss数据库和openLooKeng数据虚拟化引擎的生态参与者,分别有6家和1家。

   这是开源基础软件生态走出的第一步。从可用,到好用,任何软件生态的成型与成熟非此不可。

   《白皮书》指出,基础软件平台是服务行业客户以及做大计算产业的“黑土地”,产业链上下游厂商共同构建一个开放、合作、共赢的鲲鹏计算产业基础软件生态至关重要。

   而这一平台的发展,开源的主导力量只能是华为。毕竟,开源openEuler操作系统、openGauss数据库,及openLooKeng数据虚拟化引擎,使能伙伴发布自有品牌的商业发行版本,都是一切生态系统发展的开端。

   郝应涛认为,在此之上,只用坚持开源开放模式,打造坚实的基础软件底座,才能促进中国基础软件的可持续发展,并使能全球开源体系更好地支持多样性计算——“跑得更快,行得更稳”——在用户端,这将意味着“好用”。

   在鲲鹏高性能开源组件、加速软件包及工具的支持下,目前华为已经在大数据、分布式存储、数据库、虚拟化、云原生、Web、CDN和HPC等八大主流应用场景中,实现了应用性能的倍增。这为促进基础软件的生态繁荣带来了可圈可点的进步。

   生态伙伴参与“如何协同全栈软硬件发挥鲲鹏澎湃算力”圆桌研讨。

   易捷行云携手华为打造了基于鲲鹏的多云异构云平台。由于对底层异构资源技术差异性进行了有效的屏蔽,这一多云异构云平台充分满足了企业用户对多样性计算需求和多云形态方面的诉求。

   “易捷行云是适配华为鲲鹏最快的中立私有云企业之一。”易捷行云技术总监刘建介绍说,2019年时,易捷行云在1周内便完成了底层操作系统适配,并在1个月内便完成了产品全功能的适配。

   依托鲲鹏服务器多核、高并发的性能优势,华为中间件领域的合作伙伴东方通在2020年实施了10个地市级数据共享交换项目——中间件作为应用支撑,负责整体资源的整合共享,其对数据处理量和需求很好地匹配了鲲鹏所长。

   东方通解决方案总监曾鹏冰表示,目前东方通全线中间件,包括应用中间件、数据集成工具、消息中间件,以及交易中间件等,都已经完成鲲鹏兼容适配认证,并全面适配了openEuler操作系统和openGauss数据库等。

   同样充分利用了鲲鹏多核高并发、高转发和高IO优势的,还有大数据平台提供商星环科技。星环科技资深架构师吕品介绍说,星环科技的一站式大数据平台TDH经与鲲鹏大数据解决方案进行优化配置后,对比开源+x86,在数据集市场景下,性能提升了32.71%,在数据仓库场景下,性能提升了23.94%,而在NoSQL这种IO密集型数据库上,性能也提升了10.01%。

   这种性能上的明显提升最新吸引的客户目前已经“尝到了甜头”。吕品介绍说,这位客户在将原x86集群迁移到了基于鲲鹏的星环大数据平台上之后,收益颇丰——原批处理集群大数据任务从3小时30分钟,被缩短到了2小时42分钟,性能提升了22.8%。

   在基础软件领域,海量数据有一项特殊的荣誉——它是华为开源数据库openGauss社区贡献第一的公司。目前,海量数据已经基于openGauss发行了海量数据库Vastbase产品,并在政务、金融等众多领域落地商用。

   “openGauss提供了面向多核的极致性能、全链路的业务和数据安全、基于AI的调优和高效运维的能力。”海量数据总裁肖枫说,Vastbase海量数据库正是海量数据基于openGauss内核,并融合对行业应用场景理解打造出的企业级关系型数据库。它在原有功能基础上,增加了大量企业级数据库的兼容特征、增强的安全功能、空间数据技术等,并同时配套了异构数据库迁移平台exBase。

   在某政务热线用户中,该数据库目前将该用户的核心业务性能大幅提升了超过40%。肖枫介绍说:“(在该项目中,)单台鲲鹏数据库服务器已经支撑了过去三台某传统数据库服务器的服务能力。”

   作为openEuler社区Ceph分布式存储技术的主要维护者和贡献者,XSKY长期聚焦于分布式存储与华为的生态兼容。

   “数据即是资产,而存储是底座。”XSKY产品总监吕磊表示,在这一认知的基础上,XSKY数据湖正努力在多样性算力的基础上,更大程度地释放数据潜能。他介绍说,在此前一项基于15个节点,长达1个月的压测中,鲲鹏服务器的块存储IOPS性能超出了非创新CPU架构达10%~20%之多。

   目前XSKY已经完成了针对鲲鹏生态的深度对接,其分布式存储产品也已面向政府、广电、运营商、金融、制造、航空运输、教育、医疗等多行业客户构建了鲲鹏场景化解决方案。

   “硬件提供算力,基础软件释放算力。”郝应涛表示,基础软件生态系统的繁荣,让鲲鹏计算生态实现了从“可用”到“好用”的突破,生态伙伴市场的商业价值也因此得到了拓展。

   这一点,在华为全联接2020于25日举行的圆桌研讨中,已经作为“共识”被记录了下来;而更具体的共识则与生态伙伴的业务推进直接相关。

   “鲲鹏不是华为的鲲鹏,而是整个计算产业的鲲鹏。”华为鲲鹏计算领域副总裁江大勇在研讨中强调说。

   鲲鹏计算产业涵盖了从底层硬件、基础软件,到上层行业应用的全产业链条,只有一个由跨厂商深度参与的、全栈的技术创新融合,才能真正广泛地实现面向客户场景和行业场景的算力及应用价值提升。

   与此相关,鲲鹏一体机的话题是另一个很快达成共识的热点话题。吕品在讨论中认为,在生态和软硬件一体适配基础上推出一体机,将帮助生态伙伴形成更高的竞争力。据介绍,目前鲲鹏一体机已经进入了星环科技的产品路线图。

   易捷行云是已经发布鲲鹏云一体机的生态参与者之一。刘建认为,在第一波多样化计算需求中,易捷行云的这一决策将有利于帮助自身积累这批早期客户。

   不难发现,其实无论是跨厂商的全站技术融合,还是鲲鹏一体机,这些话题同时都指向了“好用”这一目标。

   事实上,为了“好用”,华为甚至从最底层的库函数做起,推动Glibc, ZSTD, x265等众多通用软件库接纳针对于鲲鹏的优化特性,并最终将平均性能提升了10%+。这一努力,直接惠及了所有上层软件和开发者。

   在华为全联接2020中发布以上内容之前,已有超过120家伙伴的200多个主打基础软件产品全面适配了鲲鹏,产业链上TOP30伙伴100%完成鲲鹏适配及性能优化;同时,还有有1000家ISV、3000个解决方案完成适配。

   郝应涛介绍说,在鲲鹏计算创新中心这一共享区域生态平台的支持下,那些覆盖了众多领域和场景的方案孵化持续催生出了新的商机。

   目前,在基础软件繁荣生态的支持下,鲲鹏已在国计民生多个行业实现了规模商用,客户涵盖了运营商、政府、金融、安平/电力,以及诸多大型企业等。

   值得关注的是,这样的势头正在加速。郝应涛引用的数据显示,仅2020年H1,鲲鹏的出货量就超过了2019年全年,10倍于市场增速。

   在这样的增速中,鲲鹏计算产业在基础软件上的布局与推进的效果已一览无余。

   郝应涛介绍说,目前华为除将继续“做厚”赋能开发者,和“做深”高校人才培养工作外,已经成立了两只专职的生态运营支持团队,为鲲鹏开源生态伙伴在产品全生命周期中遭遇的痛点和诉求提供专家资源保障。

   可以说,纵观基础软件领域发展所需,如今的鲲鹏已经事无巨细地做到了全面覆盖,全产业链的协同以及持续壮大,更是为鲲鹏计算产业的可持续发展提供了空间,同时也拓展了空间。

   可以想见,一个繁荣的鲲鹏基础软件生态圈,将会对应出一个多样性算力充分释放的未来——那将是一个个政企用户的智慧化未来,也将是整个社会的数字经济的未来。

   【IT创事记】聚焦于企业级科技生态、策略及商业知识。你可以在各主流媒体平台看到IT创事记的同名文字专栏和【IT创事记·视频】专栏。如果你有相应的内容希望分享,记得在公众号留言告诉我们。