盘古系统【揭秘：世界互联网领先科技成果之一“阿里云盘古”】

2024-10-30 17:05:03财都小生

9月26日，乌镇世界互联网大会•互联网发展论坛上，阿里云自主研发的分布式存储系统“盘古”入选世界互联网领先科技成果。不少用户表示对这一2B级别的设备知之甚少，那么阿里云盘古到底是什么呢？

12306上购票告别火车站排队、人工智能技术的全面普及和应用、疫情期间全社会快速组织起在线学习办公……存储一直是 IT 设施中最重要的一环，随着数字经济发展和云计算的普及，海量数据需要被安全保存和挖掘价值。盘古解决了超大规模下数据不丢不错和高可用的难题，承载和保障了来自全球各行业的数十EB数据，可应对未来ZB级的存储挑战。

据介绍，盘古是国产飞天云操作系统的关键技术之一，通过一套分布式的存储架构，支持规模无限扩展，可承载不同的应用负载, 覆盖低延迟、高吞吐、高并发等多个复杂场景，在大幅降低企业IT成本的同时，可靠性远超传统存储体系。今天的盘古系统广泛部署在全球数十个大型数据中心，服务阿里云上百万的政企客户，提供稳定可靠的存储能力。

什么是盘古？

盘古是阿里云自研的分布式存储系统，是阿里云底层的统一存储架构，采用了分布式系统先进的容错架构和柔性平台设计，具备弹性伸缩、自动负载均衡等能力，大幅提高了存储系统的可靠性和安全性，可支持块存储、对象存储、表格存储、文件存储、离线大数据处理等多种存储模式。目前已经围绕盘古系统获得发明专利超过190件。

经过二十年的技术演进，阿里巴巴实现了统一存储的目标，以“盘古“系统做为统一的底座，通过标准化、服务化和开放化的方式建立了完整的存储产品和服务体系，统一服务内部和外部的客户。

盘古团队自2008年开始组建，2009年开始推出第一个版本，2013年完成上线单集群5K台的规模的，随后2015年突破了单集群上万台的技术门槛，2017年正式推出盘古2.0并成功支撑了此后的天猫双11全球狂欢节。

2009年，国产云计算操作系统飞天写下第一行代码，就是一位阿里云存储工程师写的。此后盘古1.0正式发布，为弹性计算虚拟机、阿里金融、邮箱、搜索提供通用存储服务。

2015年，盘古成功实现了单集群10000台服务器规模的部署，拥有云计算产业中最齐全的存储产品线，成长与效率跃居榜首。同年还打破了Sort Benchmark世界记录，100TB排序完成时间仅需377秒。

2018年，面向人工智能、科学计算、深度学习等未来存储场景，阿里云分布式存储系统盘古2.0正式发布，相比上一代整体IOPS性能提升50%，同时推出基于盘古2.0的ESSD高性能云盘，IOPS从2万提升到了100万，高达50倍之多。

目前，盘古作为数据统一存储底座在阿里巴巴得到了规模化应用，支持了所有数据存储业务，包括阿里集团的所有电商核心交易系统、蚂蚁关键业务、阿里云各类存储产品等。

阿里云飞天操作系统代码

盘古有什么优势？

今天，基于盘古系统阿里云已建起全球最丰富的云存储产品家族，从公共云存储到混合云存储，从数据迁移到云上丰富的数据管理服务，能够覆盖多元数据应用场景，为客户提供安全、稳定、高可用、低成本、弹性可扩展的云存储服务，提供99.9999999999%的数据可靠性。可以在互联网任何位置存储和访问，容量和处理能力弹性扩展，多种存储类型供选择全面优化存储成本。全球部署规模已超100EB，凭借多层次防护、跨区域容灾等能力连续三年入选Gartner全球云存储魔力象限，并被列为全球领导者地位。

“盘古”主要包括“分布式存储软件”、“高性能存储网络”、“云存储硬件架构”、“深度软硬融合的闪存存储架构”、“智能运维管控”、以及“网络和SSD控制器芯片”核心关键技术。具体来说有以下四个主要技术优势：一、通过一套存储架构，支持多个复杂场景，如极低延迟的数据库场景，高吞吐的大数据分析场景，高并发的超算场景，和成本敏感的归档场景。二、独创分布式数据冗余算法，支持跨数据中心，跨地域的多AZ容灾策略。数据可靠性达到12个9，可用性高达百分之99.995。三、自研的高性能RDMA存储网络，HPCC流控算法和新型软硬融合存储引擎，引领云存储进入微秒延迟时代。四、分布式多级元数据管理，支持数据规模无限扩展。