1月28日,阿里巴巴集团(NYSE:BABA)旗下云计算公司阿里云正式对外宣布,已开源实时计算平台Blink,这一技术被认为是引领“下一代计算”的 “计算王牌”。
实时计算突破了离线计算的诸多瓶颈。由于看好实时计算,阿里从2015年开始对Flink开源大数据流处理引擎进行改造,并将Flink的计算能力扩大数倍,推出内部版Blink。
此前,Flink虽然代表了一种全新的计算方式,可以解决传统数据只能离线计算的问题,但早期只适用于小流量互联网场景的数据处理,并未被大范围看好。
Blink则能将计算延迟降低到人类无法感知的毫秒级:浏览网页的时候,你只是眨了一下眼睛,处理的信息已经刷新了17亿次。
阿里表示,集团全部核心业务已经用上Blink。除了技术大考双11之外,ET城市大脑实时计算着杭州1300个信号灯路口、4500路视频,保障着交通动脉的通畅;淘宝、天猫每天为数亿用户展现实时的“专属”页面。未来,这项技术还会被应用到社会的各个场景:工厂设备的物联网设备能实时分析数据、提高生产良品率;物流派送平台能第一时间下单,把商品及时送到消费者手中;导航软件时刻紧随出行轨迹,不再错过转弯口……
据澎湃新闻记者了解,阿里巴巴已经收购创办Flink的公司Data Artisans。
关于这次开源,Data Artisans首席技术官Stephan Ewen表示:“阿里巴巴是Flink最大的贡献者之一,很高兴阿里能将内部优化的Flink版本开源给社区,让开发者享受到更先进的计算能力。”
阿里巴巴集团副总裁周靖人表示,阿里一直密切关注并积极参与最前沿的计算技术。Flink过去几年在计算领域获得了很大成功,阿里、Uber、Netflix等都是Flink的受益者,希望通过这次开源进一步服务整个社会。
2004年,谷歌曾开启大数据离线计算的时代,可以针对海量数据进行定时计算,但随着电商、金融等行业的发展对大数据计算提出了新的需求,在金融交易场景里,风控系统如果不能实时观察每一个账户的行为动态,就可能因为1秒的延迟遗漏风险,无法阻断危险交易,造成消费者损失。
伴随着大数据、人工智能、物联网、边缘计算等新技术的兴起,有延迟的计算结果已经远远不能满足开发者尤其是企业的需要。
以Flink为代表的一系列实时计算技术得到了更多关注,在过去几年Flink的采用量增长了125%。阿里巴巴、腾讯、美团、滴滴、Netflix、Uber等大型公司都已经陆续采用Flink技术。
实时计算正处于上升期,除了Flink之外还有Spark、Storm等多个技术流派,谷歌、英特尔、IBM等全球科技公司都在积极布局。