淘宝网淘宝IPv6双栈改造和光滑迁徙——浙江淘宝搜集有限公司IPv6范畴安插和使用案例

2017年11月,中共中央办公厅、国务院办公厅印发了《推进互联网协议第六版(IPv6)规模部署行动计划》,明确了未来五到十年的总体目标、路线、时间以及重点任务。淘宝公司响应国家网络强国战略要求,在培育IPv6大规模典型应用提高IPv6流量占比的同时,保障淘宝自身业务应用正常运转。而保障在IPv6过渡过程中应用的用户体验则是淘宝IPv6改造面临的最大挑战。

手机淘宝在2019年已经实现了IPv6双栈网络环境的全国上线运营,数亿用户通过IPv6网络使用手机淘宝,享受IPv6带来的新体验。按照2020年底国家对全国Top100 App IPv6改造要求,淘宝的IPv6月度活跃用户数要超过50%;IPv6流量占比要超过30%,公司内部要求达到40%以上。在完成这个基本目标前提下,淘宝还需要保障平滑迁移,在技术上要保障双栈环境下的故障自动发现和业务快速自愈。

为了在高速飞行的飞机上更换“引擎”,淘宝IPv6改造遵从了先易后难,先试点灰度成功再复制全国放量的原则,通过构建IPv6网络质量大图,结合各维度的精确调度和端上的网络策略学习与应用,优化IPv6网络下的用户体验,大幅提升IPv6技术落地的效率。总结下来主要有四个方面的关键技术研发和突破,确保淘宝业务IPv6平滑迁移:

当前业界并无可供直接参考的无线质量数据,在无参考数据的情况下,应用侧直接灰度放量,样本质量波动大,噪点数据多,放量决策价值不高。在业务正式上线前,必须对整个网络有端到端的全景式观测,为业务放量、调度做到有效可靠支撑。

针对现有基础网络IPv6发展不平衡的问题,设计了主动式大规模网络质量拨测系统。通过调度大规模端侧设备对指定IPv6地址提前探测,实现对基础网络IPv6质量的提前测量;通过在大规模移动端实现ping6、traceroute6等拨测指令,满足对网络的细粒度全景测量。在该体系基础上,通过对不同省份、不同运营商、不同设备类型、不同无线环境多维度分析,实现基于用户侧的无线端到端大数据全景测量。

构建全球首个大规模无线监控体系,同时为国内运营商提供了可靠的问题发现与度量系统,进一步推动了国内IPv6演进速度,为应用侧业务安全定向灰度放量提供可靠决策依据。

前置探测并不能代表实际业务质量,因规模大,影响面广,业务运行期实时监控,也是必不可少的环节,且实际运维中,故障的发现与原因排查,后续网络部署的优化与演进,均需要有效数据支撑。

针对现有公网DNS在IPv6流量调度风险不可控问题,设计了大规模精细化实时IP调度体系。通过对单个设备直接下发IP来满足风险控制需求;通过直接对端侧IP识别实现精准调度需求。在该体系基础上,通过单个设备的多维度信息识别,可在地域、运营商、终端类型等多个维度实现细粒度精准调度。并在发现IPv6业务故障后,云上大数据分析服务通过端侧实时反馈,快速感知问题区域,实现流量的智能调度与恢复。

在该调度体系中,我们通过基于拨测记录与业务结果反馈形成的大数据,通过智能学习,来为调度决策做支撑。同时我们利用高频业务的旁路指令,调度指令下发由拉变推,实现“基于弹指模式”的快速调度。

应用侧从原来的基于Local-DNS的间接调度升级为基于端侧设备直接调度,调度精度与时效大幅上升。产业侧为IPv6在应用上大规模落地扫清了障碍,极大加快了整个IPv6的发展进程。

针对移动网络环境的复杂性及低可靠性,开发了移动应用的多IP&多协议无损切换技术。通过多IP并行建连技术,满足端侧在IPv6下快速Fall-back需求。基于该技术,端侧具备快速的黑洞逃逸能力,能够在不依赖调度体系情况下快速地自愈。同时根据拨测与业务反馈上报到控制中心调整判断参数(比如某些型号、版本、某网络差的城市),依据综合指标进行不同滑落惩罚的时长。

在我们内部实验过程中,还进一步使用了多网卡切换技术。通过在Wi-Fi网络下强制数据连接到蜂窝网的能力,实现了在局部固网IPv6故障下用户新的无感迁移数据通道能力。

手机淘宝在2019年已经实现了IPv6双栈网络环境的全国上线运营,数亿用户通过IPv6网络使用了手机淘宝App,享受IPv6带来的新体验。手机淘宝端侧的IPv6 MUV占比在2019年底峰值就到了5亿+。

2020年底IPv6专委会测试报告显示,淘宝IPv6流量占比64.50%、闲鱼54.54%、天猫56.76%;淘系IPv6技术落地核心业务,包括电商主链路图片、直播、短视频、导购网关等核心业务场景;双十一、双十二经历大促,零点292w QPS网关峰值流量(占16.6%)的规模验证,成为IPv6流量的头部贡献者。

淘宝团队主动式大规模无线网络质量拨测系统、大规模精准化实时IP调度、基于移动应用的多IP&多协议无损切换技术这三项技术创新工作入选“面向云计算和互联网业务的 IPv6 商用部署技术研发及大规模应用”项目,获得2019年中国通讯协会科技进步二等奖。