国际领先水平!天翼云大数据斩获中国电子学会科技成果鉴定会权威认证
近日,中国电子学会在北京隆重召开科技攻关项目成果鉴定会。鉴定委员会一致认为:天翼云大规模分布式大数据计算平台研发项目涉及的大数据存储、计算、调度等一系列关键技术,复杂度高、研制难度大、创新性强,总体技术达到国际先进水平,其中分布式存储元数据两层视图管理等关键技术指标达到国际领先水平。
此次成果是天翼云大数据与弹性存储两大产品线联合攻克大数据底层一系列关键技术难题的结晶。目前,这些技术创新成果不仅有效支撑了全国多个省份电信公司的IT及业务上云工作,还在数据要素、政务大数据平台、城市大脑等行业领域实现了广泛应用,为行业的数字化转型注入了新的动力。
在计算引擎核心方面,通过将Spark runtime层替换成Native runtime层,提供了高效的内存管理、数据交换处理能力;将算子改成native实现,并利用SIMD技术加速核心算子处理能力;深度完善基于规则和代价优化的机制,提升引擎的处理效率。相比开源Spark新版本性能提升1.2倍以上。
在调度引擎核心方面,设计分区同步共享状态的分布式调度架构替代传统的单调度器、集群联邦方式,更好地解决了集群规模可扩展性、调度效率、调度质量、公平性和优先级、资源利用率等多方面的矛盾,性能及规模较开源相比分别提升了3倍和1.5倍,实现了国内领先的调度速度和单集群1.5万台的规模。多调度器共享整个集群状态,保证任务调度结果的全局最优性;通过资源分区方式,多调度器对不同的资源分区并行调度,提升了可支持的集群规模及调度系统的吞吐量;采用资源分区轮询方式,避免出现调度结果与资源分区的紧耦合,实现最优的任务调度;同时,基于单体调度器增加了多调度器协调工作能力,保障了调度结果的唯一性,避免出现资源冲突导致的调度失败。
在存储引擎核心方面,天翼云团队结合高性能存储技术,不仅解决了海量文件管理的难题,还大幅提升了数据可靠性及性能。依托采用全自研L-RDMA协议,计算节点与存储节点RDMA全互联,实现了“高性能、低成本”的软硬协同的统一大数据存储底座。在达到100万IOPS时,时延依然保持在亚毫秒级,单并发写时延达到70us。这一创新成果不仅提升了存储效率,还为大数据处理提供了更稳定、更可靠的支持。
此次项目获得中国电子学会科技成果鉴定会的认可,不仅彰显了天翼云在大数据领域的卓越技术实力和创新精神,也为行业发展树立了新的标杆。未来,天翼云将继续坚持科技创新,不断推动大数据和云计算技术发展,为千行百业数字化转型贡献更多新质生产力,为数字经济高质量发展注智赋能。
声明:本站作为信息内容发布平台,页面展示内容的目的在于传播更多信息,不代表本站立场;本站不提供金融投资服务,所提供的内容不构成投资建议。如您浏览本站或通过本站进入第三方网站进行金融投资行为,由此产生的财务损失,本站不承担任何经济和法律责任。 市场有风险,投资需谨慎。同时,如果您在中国发展网上发现归属您的文字、图片等创作作品被我们使用,表示我们在使用时未能联系到您获取授权,请与我们联系。
【本文资讯为广告信息,不代表本网立场】