人文艺术 > “双十一”背后,阿里的技术到底有多“牛”?

“双十一”背后,阿里的技术到底有多“牛”?

2020-08-21 20:45阅读(101)

“双十一”背后,阿里的技术到底有多“牛”?对于“双十一”购物节,亿万人将会同时涌进“一扇大门”。而“双十一”背后的技术支持全靠阿里云的云计算技术作为支

1

关于题主的这个问题,我觉得用客观的数据最能说明双11背后阿里云的技术实力

2018年天猫双11单日成交额高达2135亿,2018年天猫双11购物狂欢节21秒破10亿元,比去年快7秒;1小时47分26秒破千亿元,比去年快7个多小时。同时,从我查阅的数据来看,2018年天猫双11还刷新了很多纪录。比如说物流订单整整超过10亿,还有通过指纹和刷脸方式完成的支付占比竟然超过一般,高达到60.3%。

另外,不只是淘宝天猫,中国邮政、茅台、银泰、居然之家、猫晚、众安在线、天猫、淘宝、支付宝、盒马鲜生、饿了么、菜鸟、高德等众多企业都在阿里云提供的云计算服务下,即便面临业务高峰也稳如磐石。

就连双11前夕的天猫双11晚会,也依托依托阿里云技术,在网播时创下了带宽峰值记录,完美保障了优酷2500万用户的体验。不仅CDN为中国1/3以上的互联网流量提供加速,视频云也在海外为Lazada提供直播服务。

更惊喜的是,今年天猫双11也是国内首次大规模IPv6商业应用实践,云、网、端以及应用全面支持IPv6,不得不给阿里云的技术点个赞。

而每年天猫双11狂欢能够稳健流畅进行的背后,都是靠阿里云的核心技术在支撑。

计算能力:在极限情况下也能够虚拟机的计算能力和物理机保持一致,譬如阿里云的神龙服务器,就能够虚拟化损耗降为0;

实例存储:可以将单机的IOPS提高到百万级,堪称业内首个达到该水准的,满足大计算、重IO的高端用户场景;

CloudDBA产品:无节约成本,提升用户体验;

大数据:很多新零售产品就是基于大数据,完成了向智能化的转变,充分了解消费者的需求,帮助商家定向制造出更棒的商品。

与此同时,阿里云的强大技术还来源于一群默默在幕后奋战的工程师们。双11期间,每遇到一个业务问题,熬更守夜也必须解决掉。譬如在压测期间,就有工程师整整48小时没有睡觉,等解决完问题才回家。即便是又同事第二天就要结婚,也得在头一晚坚持工作。

相信也正是因为有这样一只铁军,阿里云才能拥有如今这样的强大科技实力,今年天猫双11的绝佳成绩,也正是阿里云技术的最好证明!

2

“双十一”可以说是世界首屈一指的技术大关,既是阿里技术的集中展现,当然也是对阿里技术的集中考验。“双十一”背后有很多阿里的技术,阿里官方的说法是下面这张图,总结得非常全面。可以先俯瞰一下全貌。


因为业务原因,我个人比较关注阿里的下面几项技术。


分布式数据库OceanBase

用阿里自己的话来说,OceanBase 对传统的关系数据库进行了开创性的革新。在普通硬件上实现金融级高可用,在金融行业首创“三地五中心”城市级故障自动无损容灾新准,同时具备在线水平扩展能力,创造了4200万次/秒处理峰值的纪录。

也就在本月,权威机构国际事务处理性能委员会(TPC)的官网披露,阿里OceanBase在世界权威的TPC-C基准测试中登上榜首,打破了甲骨文保持了9年之久的世界记录,成为首个登顶该榜单的中国数据库产品。


AI设计师鹿班

鹿班是通过人工智能技术,快速、批量、自动化的进行图片设计,为企业大幅度节省设计人力成本的智能设计平台。 鹿班设计主要提供一键智能生成设计图片、拓展尺寸、拓展颜色等设计服务,随时随地做图让设计更简单。千人千面的大规模图片就出自鹿班之手。

据说鹿班一秒钟可以自动制作8000张图片,这种设计能力让很多设计师惊叹。而且做出来的图片质量也是像模像样。


无人值守压测AI尖兵

“双十一”作为互联网上的世界级超级工程,其大促准备阶段的“全链路压测”的AI“尖兵”是确保“双十一”通过峰值考验的利器,也被称为大促的“核武器”。每年双11前夕,阿里都会组织多次全链路压测,不断地通过压测发现问题进行迭代优化、全方位验证业务的稳定性,是大促备战最重要的武器。


“双十一”就像一个巨大的工程,可以将各种问题暴露出来。阿里的技术在“双十一”的表现总体上来讲可圈可点,为中国赢得了超大规模网络峰值的实践经验。对阿里技术感兴趣的朋友,可以根据上面的俯瞰图,调查一些自己感兴趣的系统,相信会有所收获。

今年的“双十一”即将来临,阿里是否能更加得心应手地应对峰值考验呢?我们拭目以待。

3

用阿里巴巴CTO张建锋(花名:行癫)的一句话来形容就是,阿里巴巴“天猫双十一”是世界互联网技术的“超级工程”。

从查看、搜索、添加购物车、下单、支付、退款等待的每一个环节,都有可能同时是超过数十万的高并发的计算压力,天猫双十一这个技术大考可以说是国内仅次于12306春运的一次行业技术大考。这背后是无数的阿里技术人默默地在背后奉献,无数的技术攻关给大家创造的一个近乎完美的双十一购物体验。

  • 先给出一波数据给大家可以感受一下:

这次双十一,阿里巴巴自建绿色数据中心,相对于传统技术节能70%,年节约用电达到了5.6亿度,相当于17万户普通家庭一年的用电量,大概是一个大型乡镇的年居民用电量。全球互联网行业最大规模的液冷集群、PUE逼近理论极限值1.0,快递电子免单,节省了200亿+张/年的纸质运单,物流只能切箱节约了7500万快递纸箱/年。

双十一期间为用户个性化推荐达到了453亿次,智能客服接单量等于70万人工日服的日工作量,智能客服占比达到了98%,智能翻译超过了10亿次,生物识别占比达到了60.3%,区块链溯源保真1.5亿件商品,双十一期间抵御网络攻击16亿次,交易创建峰值达到了49.1万比/秒,这可以说是世界奇迹。

技术主咖“淘宝、天猫技术”

毫无疑问,双十一最主要的技术团队就是淘系技术团队,主要就是淘宝、天猫技术团队,这也是阿里巴巴的核心竞争力,也是跟业务最近的技术团队之一。

从双十一晚会上淘宝互动技术引擎,全面打通阿里生态体系内的会员、权益、能量,互动玩法、快速研发以及秒级上线。双十一需要打通各大App内的各个异构技术的基础实施,基于HTAP(Hybrid Transactional/Analytical Processing)技术,提供代码无入侵式的实时数据一致性检验能力,保障千亿能量和十亿现金红包在近三十个 App 间流转的数据的一致性以及安全性。

分布式数据库OceanBase、这是我国第一个具有自主知识产权,并且首个应用在金融核心业务的分布式关系数据库,分布式架构SOFAStack、每一次双十一智能化的全链路压测保证每次双十一的平滑过渡,除此之外,三地务中心多活架构,如果一个城市的机房发生故障,服务器能够分钟级切换到无故障机房,保证业务连续性,同时保证数据不丢失、业务不停机。

阿里巴巴的坚实后盾“阿里云”

天猫双十一能够表现得这么出色,阿里云是最重要的后盾,而且是最坚实的后盾。

阿里云的飞天系统是阿里巴巴的必杀器,阿里巴巴部署了全球最大的规模的混合云应用,飞天2.0是双十一的重要支柱,这次双十一阿里云的弹性计算能力累计超过了1000万核,相当于10座大型数据中心的脉冲计算新记录。

  • 神龙架构的弹性裸金属服务器,解决高峰值流量下的性能瓶颈

  • 基于盘古2.0和FusionEngine的ESSD云盘,提供了数十PB级别的存储挑战,应用互联网史上最大高并发IO的挑战
  • 全球领先的RDMA网络,为海外直播助力
  • 异构计算FaaS舜天平台,轻松应对多平台、接近30个App的数据一致性、以及安全性
  • 支持IPv6的云、网、端,实现了国内首次大规模的IPv6商业实战

天猫双十一从下单到配送,从晚会到客服,可以说每一个环节都离不开阿里云。在边缘计算、物联网操作系统、多环境设备断SDK、阿里云IoT物联网络管理平台Link WAN,阿里云物联网云平台Link Platform,应用开发平台Link Develop,物联网市场Link Market等等。

支付宝是天猫最好的兄弟

如果说阿里云是在天猫双十一背后默默支持的小伙伴、从事的都是幕后工作,那么支付宝就是天猫双十一最好的台前兄弟,直接与用户打交道的兄弟。

在这次双十一当中,支付宝很多自研核心技术也拿到了台前,比如蚂蚁区块链的技术首次运用到双十一,目前蚂蚁区块链全球区块链专利技术申请量排名第一,Ant Blockchain在商品正品溯源、跨境转账等方面都有重要的应用,人脸识别技术方面,蚂蚁金服人脸识别技术安全度达到了99.99%,在风控方面,蚂蚁金服第五代智能风控引擎AlphaRisk确保账户资损率抵御千分之五,同行业摇摇领先于世界平均水平。

千万不要忘了不辞辛苦的菜鸟网络

2018年天猫双十一,当天16:48分物流订单就已经超过了2017年天猫物流订单总量;当天10:36物流订单超过了2016年物流订单总量;当天9:01分,进口定能单清关总量突破了1000万;并且今年天猫双十一订单总量突破了10亿,进入了10亿订单时代;

2018年天猫双十一当天8点,全国签收城市数量就已经达到了263个,其中上海、苏州、北京、重庆、沈阳排名前五;

从2013年到2018年这几年间,双十一的物流包裹从1.52亿上升到了10.42亿,但是完成1亿个物流包裹的签收从9天下降到了2.6天,这个效率的提升都得益于菜鸟网络对于中国骨干物流网络的设想得到了实现。

“双十一”对于阿里巴巴来说本质上就是一次大考,一次年度的技术大考,阿里巴巴改变了13亿人的消费模式,而天猫双十一创造了中国零售的奇迹,这背后更是无数的工程师用代码堆砌起来的技术奇迹。


本文系问答签约作者专稿,未经允许转载、抄袭必究!

4

还有几天,又将是一年一度的购物狂欢节“双十一”,不知各位红包攒了多少,盖楼盖到了多高?

双十一不仅要考验消费者们的手速,对于阿里更是任务艰巨。今年是“双十一”十周年,先看下这十年间双十一的全天销售额:

2009年:0.52亿

2010年:9亿

2011年:52亿

2012年:191亿

2013年:350亿

2014年:571亿

2015年:912亿

2016年:1207亿

2017年:1682亿

2018年:2135亿

2019年:????亿

可见增长速度极其迅速,今年突破2500亿我觉得是妥妥的。这么多人同时在线,每秒海量的点击和订单数阿里是靠什么来扛住这一天呢?

阿里云

看得见的狂欢,看不见的云。去年天猫双11数字经济狂欢的背后,是一次次对计算能力的 “脉冲” 挑战。阿里云作为数字经济的基础设施和引擎,用技术成功护航各大战场,用产品支撑了万物狂欢的挑战。今年的冲击会更大,毕竟“盖楼”大军们辛苦了那么久,就等着这一天回馈自己呢,不过这对于强大的阿里云来说不是事儿!

分布式关系数据库

去年双十一,支付宝整个核心链路都是在OceanBase——这个独特的、阿里自主研发的数据库上运行,不同于传统的Oracle和MySQL伴随的数据量的增大和业务数据的扩展会不断地拆库拆表,OceanBase将主体数据按照主键分块连续存放在多台机器,十分高效。每秒14万的订单创建,8.59万笔每秒的支付,还有就是一天10TB左右的数据库写入量,阿里轻松应对。

幕后奋战的工程师们

双十一期间,阿里的工程师们全都奋战在工作前线,每遇到一个业务问题,熬更守夜也必须解决掉。譬如在压测期间,就有工程师整整48小时没有睡觉,等解决完问题才回家。

独到的管理体系、众多的人才、为了客户同时也为了更好的工作成绩倾尽全力,这便是为什么阿里能有如此强大的技术,期待今年的双十一会有更多的惊喜。

更多优质内容,请持续关注镁客网~

5

十几年前阿里巴巴创始人马云去参加广交会,对于这次交流马云有着深刻的感触,之后先于在广东的腾讯开始启动云服务器的设想,马云内心自那次广交会后,确立了他要在网络中建立一个永不落幕的“广交会”。

2009年阿里云在教师节正式成立了,仅仅用了十年的时间,阿里云成为了中国市场份额接近50%的巨无霸。

在物理世界之外,还有一个平行的数字世界,而这个世界的大数据如何生产管理需要非常先进的技术与硬件的完美支持,阿里云是中国自主可控的第一个云服务企业。

当初阿里云启动的时候,马化腾对云的评价是“猴年马月的事儿”,李彦宏形容是“新瓶装旧酒”,就是因为这个小小的思维差距,让阿里云迅猛发展,十年后成了中国第一,世界第三的市场先锋,连续十年每年收入增长超过100%,与亚马逊与微软两大巨头云并称为3A,估值为670亿美元。

2019年双十一阿里巴巴把所有的交易与处理环节全部上云,在那一天阿里云每秒要处理54.4万笔交易,实时信息超过25亿条,就是在一样一种巨大数据流的情况下,阿里云依然可以轻松应对,没有出现任何差错,这是自动赚钱模式啊!

论处理能力,实际上阿里巴巴已然成为了世界上最强大的数据处理管理科技公司,尤其是在密集数据管理与计算技术上,有了超级强大的云计算,阿里巴巴的电商能力也就有了泰山一样的高科技壁垒。

就像京东自建物流一样,根基稳定了,就会开始用自己完善后的物流体系蚕食其它,阿里云的服务器服务也会过剩,那个时候就是它加速扩展的巅峰。

不过所有的强大企业是否长久不取决于你走在蜀道上有多高,最重要的是取决于不犯重大错误,掉下去。

有一天手机和电脑被云服务取代的时候,请不要惊讶。

6

说起来每年的阿里双11,都可以说是阿里在进行技术大阅兵,是阿里的超级系统工程展现实力,阿里双11的10年,可以说就是中国互联网发展的伟大10年。

一、阿里云的处理能力。

第一届双11是2009年,那一年微信都还没有推出来,大家交流还只是用QQ,至于安卓版、iOS的手机淘宝都没有,大家都是基于PC淘宝来购物,还有手机wap版的。

所以在当年,双11成交额是5000万交易额,同时网上支付的处理速度,也是400笔每秒,这已经算是非常快的处理能力了,所以大家当时发现付不了款,网页卡住了。

下图是双11年10年的数据,看看处理数据已经是10年前的上千倍,交易额更是几千倍了,这里就是阿里云的处理能力了。


二、菜鸟物流

关于这个物流,相信很多人都非常清楚了,以前每到双11,大家的货物收到要等好多天,但现呢?基本上第三天就能收到了。

比如11月11日下单,大部分11月13日就能够收到,这就是阿里菜鸟物流的功劳了。

除此之外,阿里还有各种技术,比如AI设计师鲁班等等。可以说阿里的双十一仅次于全球最大的人口迁移,也就是中国春运到12306抢票的一次行业技术大考。

7

退货平台都崩溃了,还牛?

8

双十一是实体经济的豪华葬礼。

望着没有收益的交易,无利润,空欢喜,白忙活,还把正常的市场需求充斥饱和,往后更销不动。

全国流通渠道过度集中到低价平台倾销打折甩卖时间,对实体经济来讲。无利可图,帮平台赚钱,自己赔本赚吆喝,是回光返照。

这和江堤倒口一个道理,水势越大,表明溃口越大,灾情越重。 这种水来淹没头,水走干死牛的搞法。

是商业领域的人造奇祸。 双十一是实体经济的集体豪华葬礼,吃完这口无味无营养的鸡肋,喝下这碗断肠酒,往后的日子,集体去赴死。

看着那些开直通车交平台推广费五万,卖出20单的卖家,喜从何来。

用一个国家的产业集体毁灭,换来一个平台一夜狂躁的哀荣,是实业从业者的集体悲哀。

以互联网为本,来发展工商业,结果必定是互联网強盛,工商业死衰。

相当于屠场养猪,火锅养鱼。

以工商业为本,用互联网作工具辅助,就必须遵守工商业本来的规律伦理和秩序。才能有序发展,不可由互联网平台凭技术优势,垄断一切,惘顾一切,掠夺一切,压榨一切,胡作非为。 呜呼哀哉,别了,中国的实业。

9

我不觉得技术有多牛,自己有超级大的服务器区,并发数能跟的上有什么奇怪的,又不是把一台同等配置的服务器可以抵得上别人多少台!和技术上没有太多关系!说白了就是资源整合和对接处理!

10

一年一度的双十一狂欢马上又要到了,去年淘宝交易创建峰值达到每秒49.1万笔,是2009年首个双十一交易峰值的一千多倍,今年的双十一自然也不会轻松,解决链路高压是阿里技术人员要面对的重要挑战。


实际上,在像“双十一”这种大型营销活动开展前,阿里内部技术人员都会进行全链路压测,以解决活动过程中洪峰流量引起的系统表现不稳定问题。“技术双十一系列”压测可以说是阿里的首创。

其实阿里最初进行全链路压测的时候动用了上百号人通宵压测,随着压测方式的更加智能化,如今只需要几个人白天压测。

阿里的压测项目具体如何实现呢?

压测环境改造


整个阿里经济体的压测环境,包括双十一压测,全部选择的是线上环境,此时需要评估如果要进行全链路压测,是否直接可以使用现有环境、同一个API多次压测是否会被拦截、是否会有脏数据影响、如果有影响应该如何改造避免等。



数据准备

提前确定活动的业务模式对应的技术架构应用,比如需要做压测的业务范围、数据量级、数据形式等。这些准备通常以以往的活动数据进行参考。



流量安全策略


通过影子表数据手段解决非法流量的监控和保护机制问题,实现数据隔离,避免数据错乱。

通过将安全相关策略接入流控降级功能、针对压测适当放松安全策略或根据特殊标记识别等手段,使压测流量不被判定为攻击流量,成功压测的同时保障线上业务的安全性。


压测实施


1.峰值脉冲:即完全模拟0点大促目标峰值流量,进行大促态压测,观察系统表现。

2.系统摸高:取消限流降级保护功能,抬高当前压测值(前提是当前的目标压测值已经达到,则可以进行摸高测试),观察系统的极限值是多少。可进行多轮提升压力值压测,直到系统出现异常为止。

3.限流降级验证:即验证限流降级保护功能是否正常。 (AHAS引入)商业化产品AHAS(应用高可用服务,Application High Availability Service)提供了全面的限流降级能力,可进行全链路的降级保护。

4.破坏性测试:这个主要是为了验证预案的有效性,类似于容灾演练时的预案执行演练。即为持续保持大促态压测,并验证预案的有效性,观察执行预案之后对系统的影响。


问题定位分析


压测结束之后,会将压测过程中的系统表现、监控数据等整理,进行压测复盘,分析当前系统瓶颈、后续改进修复计划及下一轮压测时间等。

以上全链路压测的详细过程主要参考阿里云栖社区官方,双十一马上就要来了,让我们一起期待今年阿里的技术表现吧!