阿里云飞天大数据平台亮相,中国唯一自主研发、集群规模世界第一

7月25日,阿里云飞天大数据平台亮相阿里云峰会上海站,拥有中国唯一自主研发的盘算引擎,是全球集群规模最大的盘算平台,最大可扩展至10万台盘算集群,支持海量数据存储和盘算。在民生服务领域,飞天大数据平台已经“最多跑一次”、都会大脑等场景中,协助政府优化服务模式,实现更智能便捷的服务能力,保障信息平安。

数据显示,现在飞天大数据平台可扩展至10万台盘算集群,集群规模全球第一。单日数据处理量从2015年100PB、2016年180PB、2017年320PB,到2018年跨越600PB,仅用三年时间提升5倍。

在浙江,飞天大数据平台支持下,“最多跑一次”买通与老百姓做事最密切相关的100个事项70多亿条数据,老百姓甚至有可能一次都不跑。在杭州,都会大脑实时指挥1300个红绿灯路口、200多名交警,从2016年到2018年,杭州从天下最拥堵都会排行榜上下跌52名。

原来需要跑5个窗口、耗时2天才气拿到的新生儿出生证,现在只需在手机上动动手指,填9项信息,一个出生证就办好了;原来看一次病排队付几回费,现在可以看完回家再付钱……这样的场景正在越来越多的都会变为现实,背后有飞天大数据平台的支持。

据了解,该平台的研发源自阿里巴巴的自身实践。十年前,新兴互联网业态蓬勃发展,中小企业在阿里巴巴电商平台上爆发式增进,商家第一次具备直接触达消费者的普惠渠道,引发重大的消费者需求,海量数据击垮传统IT架构。在此靠山下,阿里巴巴最先探索全新的手艺来支持爆发式增进的数据存储和盘算需求。

大部分企业的老例是直接使用国际开源的数据盘算框架Hadoop。在阿里巴巴内部,也曾泛起过猛烈的争论,究竟是直接使用开源Hadoop,照样从每一行代码写起,自主研发一个大数据平台。

那时,电子商务蓬勃发展,人类社会从未有过云云规模的商业买卖在一个互联网平台上举行,若是用Hadoop搭建的大数据平台,必将在不久的未来再次遇到挑战,更别提为外部企业提供服务,成为普惠的IT基础设施。

由此,阿里巴巴坚定投入飞天大数据平台研发,将成千上万台服务器组成一台超级盘算机,向社会提供水电煤一样的公共服务。早在2012年头,阿里巴巴手艺委员会主席王坚就示意,“从战略上来说,阿里云想做的事情实际上可以解读为Amazon+Google并有所逾越。将单一集群做到数千甚至更高,手艺上是国家和企业竞争力的标志。阿里巴巴必须攻克这道难关。”

也正是由于这一坚持,才有了今天中国唯一自主研发的飞天大数据平台。已往十年,飞天大数据平台打破了多个纪录:2013年,突破了单集群内5000台服务器同时盘算的局限,现在单集群已跨越1万台的规模;2015年,打破盘算界奥运会SortBenchmark的4个世界纪录,用不到7分钟便完成了100TB的数据排序,刷新了ApacheSpark 23.4分钟的纪录。

留下评论