本文首发于《中兴通讯技术》。边缘计算社区经过沟通取得授权发布。
摘要：在业界云边协同应用场景和云边协同通用参考框架基础上提出移动边缘计算（MEC）云边协同参考架构，分析了狭义 MEC 与广义 MEC 的云边协同不同点，具体给出MEC边缘网络服务、边缘运营管理、云边平台服务、云边业务应用 4 大类的协同，为运营商的5G MEC云边协同发展提供参考。
关键词：多接入边缘计算；云边协同；边缘计算；Kubernetes
随着 5G独立组网（SA）的正式建设，作为5G SA 核心能力之一的移动边缘计算（MEC）[1]也正式启动商业部署和运营。虽然 MEC 试点已开展较多，但其作为一个 IT 和 CT 融合平台，存在多重挑战[2]。充满不确定性但似乎又有无限可能，这既是 MEC让人困惑之处，也是MEC被寄予厚望之处。
全球电信运营商对 MEC 的技术选择与商业运营思路并不完全相同，对于将云计算作为战略型业务发展的主导运营商来说，MEC 不仅仅是 5G 边缘计算平台，还普遍被认为是云战略的重要差异化优势之一。MEC 与中心云协同为客户提供云网边一体化服务成为必然选择。
01云边协同应用场景除了少数在边缘节点终结处理的业务（如部分园区私有云业务）外，对于大部分边缘计算业务来说，云边协同的业务需求普遍存在。边缘计算产业联盟和云计算开源产业联盟总结了内容分发网络（CDN）、工业互联网、能源、智能家庭、智慧交通、安防监控、农业生产、医疗保健、云游戏等云边协同应用场景[3-4]。
其中，有的是因为业务低时延需求，在业务系统云端部署的同时将部分时延敏感实时处理任务下沉到边缘，如工业大数据在云端综合分析处理时可编程逻辑控制器（PLC）采集数据在边缘实时分析处理与控制设备；有的是着眼于降低云端计算压力和网络带宽成本，如CDN应用场景在边缘部署缓存和计算服务，提供边缘加速或作为CDN的进一步下沉节点，以在降低总体成本的同时提升用户的就近服务体验；
有的则综合时延、成本、性能、可靠性等，以实现系统架构的优化并充分发挥云与边的不同优势，如视频安防监控中涉及到视频人工智能（AI）的应用处理，它通过在边缘的视频预分析和AI推理执行，实现视频监控场景实时异常事件的感知及快速处理，在云端则发挥云端算力、开发工具的优势，完成AI模型的训练以及AI分析应用的开发并按需下发给边缘部署。
02云边协同参考框架边缘计算产业联盟认为云边协同包含云端与边端基础设施即服务（IaaS）、平台即服务（PaaS）、软件即服务（SaaS）的多种协同[3]，边端边缘计算（EC）-IaaS 与云端 IaaS 应可实现对网络、虚拟化资源等的资源协同；边端 EC-PaaS 与云端 PaaS 应可实现数据协同、智能协同、应用编排协同、业务管理协同；边端 EC-SaaS 与云端 SaaS 应可实现应用服务协同。
云计算开源产业联盟则进一步提出在 IaaS资源、PaaS平台、SaaS应用的协同基础上面还需要考虑计费、运维、安全等方面的协同[4]。
华为作为信息与通信技术（ICT）产业的设备与服务提供商，在边缘计算领域的布局涉及“云、管、边、端、芯”。其中，华为云提出基于 Kubernetes 扩展的云边协同开源项目——KubeEdge[5]，并将其贡献给云原生计算基金会（CNCF）。作为一个智能边缘平台，KubeEdge包含了边端的计算节点部分和云端的管理控制部分，其云边协同体现在：
1）基于WebSocket 和 Quic 协议构建了可靠、高效的云边消息通信，并作为云边控制协同、数据协同的通信基础；
2）扩展了 Kubernetes，实现云边协同编排管理，包括基于云端的边缘控制器 EdgeController等控制 Kubernetes 应用程序编程接口（API）服务器与边缘节点、应用和配置的状态同步，支持直接通过 kubectl命令行在云端管理边缘节点、设备和应用；
3）提供了DeviceTwin 模块，实现边缘计算节点下挂的边缘设备与云端设备管理之间的同步和控制。
作为云服务提供商，阿里云也进军了边缘计算领域，并积极布局云边协同：
1）发布了边缘节点服务（ENS）[6]。ENS 当前主要提供边缘IaaS服务，但其目标是建立大规模分布式边缘算力融合调度平台，融合虚机、容器、函数、流式计算等计算形态，屏蔽分布在各个边缘数据中心（DC）硬件环境与网络环境的异构差异，无缝支持各类边缘资源，为规模覆盖的云边一体化计算提供底座能力支持。
2）与华为类似，基于“云端统一管控，边缘适度定制”的理念，阿里云将 Kubernetes 容器服务拓展至边缘，推出边缘容器产品——阿里云容器服务Kubernetes 版ACK Edge Kubernetes[6]，并提供了云边协同通道——EdgeTunnel，实现云端管控与边缘worker 节点之间的消息交互。同时，阿里云还重点考虑了边缘节点日志监控运维、边缘应用编排管控的云边协同等需求。ACK Edge Kubernetes 可以认为是边缘PaaS服务。
03MEC的云边协同行业联盟的边缘计算云边协同参考框架是针对业界各种边缘计算的一个总体参考，而边缘计算却存在多种形态。华为和阿里在各种边缘计算产品中也给出了针对性的云边协同设计与研发实现。对于MEC，其云边协同架构总体符合业界的参考框架，同时也有自身需要重点关注的问题。
目前，MEC 有广义和狭义之分。
狭义的MEC 指遵循 ETSI 标准架构的多接入边缘计算平台[1]，该平台一般基于网络功能虚拟化（NFV）和管理编排技术构建，5G用户面功能（UPF）被纳入 MEC 系统中统一考虑。
广义的 MEC 则指运营商在网络边缘部署边缘计算平台，特别是对于自身提供公有云和 CDN 服务的运营商，可以基于自身的公有云和CDN资源延伸打造 MEC 平台（不一定命名为 MEC 平台），该平台一般与 UPF 分离部署。
在边缘云技术层面，该平台虽然与网络功能虚拟化基础设施解决方案（NFVI）有共通之处，但其并不完全遵循 NFV 的架构和标准，而是有一套互联网化的边缘计算平台。综上所述，MEC 云边协同参考架构如图1所示，分为 4 个层面的云边协同。
5GC：5G 核心网
AI：人工智能
AR：增强现实
CDN：内容分发网络
CG：计算机图形
DT：数据服务
IaaS：基础设施即服务
IoT：物联网
MEC：移动边缘计算
PaaS：平台即服务
SD-WAN：软件定义的广域网
V2X：车用无线通信技术
VR：虚拟现实
图 1 MEC 的云边协同参考架构
3.1 MEC 边缘网络服务协同
1）边缘承载网络协同。MEC 的边缘资源池与中心云资源池之间的云边网络互联，主要基于城域网/移动承载网 IP 骨干网承载（理想的状态是基于软件定义网络/NFV 实现云、边之间的网络资源统一调度）。近期，云边网络互联以跨网络隧道技术为出发点进行构建[8]，例如以软件定义广域网（SD-WAN）为代表的 Overlay 方案和 SRv6为代表的 Underlay 方案等。
这些方案均通过云端集中部署的SD-WAN 控制器和网络运营管理系统实现云边网络之间Overlay与Underlay连接的资源调度，满足云边业务应用协同等网络需求。
2）5G核心网网络协同。无论MEC 与 UPF 是否物理集成部署，两者在运营层面需要统一打造“连接 计算”的对外服务。MEC 的云边协同连接包括 UPF 与 5G 核心网控制面的网元，特别是会话管理功能（SMF）与网络开放功能（NEF）之间交互。
当前，UPF 与 SMF 之间仍然是厂商私有接口。中国移动提出“OpenUPF 合作伙伴计划”[9]，面向垂直行业场景制定标准N4接口，打造开放的行业 UPF，以更好地支持企业现场等场景的 MEC/UPF 部署。
3.2 MEC 边缘运营管理协同
MEC 的边缘运营管理主要包括边缘云资源管理、边缘云平台管理、边缘应用编排、边缘业务运营管理，均是对边端不同层面的集中云端管控。狭义和广义 MEC 的边缘运营管理协同存在较大差异。
对于狭义 MEC，MEC/UPF 与边缘编排和管理（MANO）实现云边协同管理交互。边缘MANO 参考 NFV MANO 标准并基于边缘特性进行定制和扩展[10]，实现云端的应用编排和分发，并对边端 MEC 平台和应用实现集中化的资源管理和监控运维等。相比标准 MANO，边缘 MANO 的主要定制化包括：
1）VIM优先采用轻量化 VIM，可与计算节点合设，以尽可能减少边缘节点资源开销；
2）提供单独的移动边缘应用编排（MEAO）系统，实现MEC应用编排。MEAO 提供全局统一的 MEC 资源管理、编排和调度，提供移动边缘（ME）App应用软件包管理及App生命周期管理，并可与 5G 核心网的NEF或PCF交互，实现分流规则的设置。
对于广义MEC，基于Kubernetes 和容器提供边缘容器集群服务成为主流选择，边缘容器集群可以构建在轻量级Openstack 和虚机/裸金属服务器之上。边缘集群形态分为云端管控集群和边缘分布集群两类。
对于云端管控集群，Kubernetes master节点在云端，node节点在边缘端。云端管控集群适用于边缘资源较少的情况，例如华为 KubeEdge 以及阿里ACK Edge Kubernetes。
对于边缘分布集群，kubernetes master 和 node 节点均在边缘端，边缘部署一个完整的 Kubernetes 简化版本。边缘分布集群中，云端针对多集群进行管控，适用于边缘规模较大的情况，例如 Rancher K3S[11]。
无论是狭义还是广义 MEC，我们都要考虑边缘业务运营协同，包括在云端提供边缘应用开发测试环境（重点包括 MEC 能力的调用支持）、边缘应用商城与镜像仓库、边缘应用的安全认证、边缘应用的能力调用计费日志查询等服务。在边端，基于云端编排调度加载边缘应用软件包并进行可信执行，从而对边缘应用提供 MEC 能力和服务使用计费日志服务。
3.3 MEC云边平台服务协同
MEC云边平台服务协同主要是指 MEC与公有云上的各种云平台服务与边缘服务形成协同，包括为边缘应用提供云端能力的调用交互，以及将云端能力延伸下沉到边缘云，作为一个服务在本地为边缘应用提供服务。这种本地服务可以根据场景按需部署，在云边协同场景中需求较多的云边平台服务包括视频类、AI 类、物联网大数据类。
理想情况是，公有云的计算和存储等云计算基础服务与 MEC 形成云边一体，即让计算和数据在云边自由流动，云端租户虚拟机可以调度迁移至边端，并基于业务需求、计算负载等实现云边算力的统一调度；
而云端存储与边端存储可以基于策略统一调度，实现热点数据的边端存储、全量数据和结构化分析数据的云端上传、保存等。对于狭义的 MEC，基于 NFV 的边缘云运营管理和公有云运营管理管理是两套体系，云边协同需要两个体系对接。
对于广义上的 MEC，边缘云运营管理和公有云运营管理是一套体系，即 MEC 云边平台服务协同真正形成一体，并为上层业务应用屏蔽底层云边网络与资源、能力的差异。其未来的技术发展目标是类似于无服务器（Serverless）的概念，MEC 云边协同为应用提供无边缘感知（Edgeless）平台服务。这是狭义MEC 与广义MEC的最大区别之一。
3.4 MEC云边业务应用协同
云边业务应用协同主要指业务应用自身的云边协同，具体包括业务应用部分处理任务作为一个边缘应用下沉到MEC；云端业务应用从MEC边缘云IaaS 和 PaaS 获取边缘应用状态及日志等信息并进行集中分析，对边缘应用实例、边缘云资源、边缘平台能力等进行策略调度。
MEC云边协同体系的最终是为了支持上层业务应用实现计算的最佳分布，MEC云边业务应用协同的理想状况是云端业务应用根据用户请求分布、自身算力负载以及业务需求体验实现部分处理任务按需下沉到 MEC，对用户终端访问请求精准调度到MEC，并触发边缘云和边缘网络资源的调度与保障，实现业务应用的计算效率、客户体验、网络成本的最佳分布组合。
04结束语云边协同是MEC发展过程中面临的重要问题，不同运营商有不同的选择。
在美国，主导运营商与公有云巨头之间开展了5G云边协同的合作，如Verizon与AWS的合作——AWS Wavelength平台，它提供了5G边缘网络和数据中心的基础设施服务，而两者主要进行边缘网络的协同。运营商与外部公有云服务提供商之间是多云网合作。
同时，AWS也和Vodafone、SK Telecom 和 KDDI 等其他运营商进行合作，将 Wavelength区域扩展到更多地方。与美国不同的是，中国运营商正在大力发展自有的公有云业务，MEC云边协同的含义非常丰富。运营商的MEC云边协同策略有多种选择，如何助力运营商进行云网融合战略同时又能够实现产业共赢，将是运营商5G MEC成功与否的重要衡量标准之一。
参考文献
[1] ETSI. Multi-Access Edge Computing(MEC)[EB/OL].[2020-05-20]。
http://www.etsi.org/technologies-clusters/technologies/multi-access-edge-computing.
[2] 杨鑫,赵慧玲. 多接入边缘计算 MEC 技术及业务发展策略[J].移动通信, 2019,43(1): 29-33. DOI: CNKI:SUN:YDTX.0.2019-01-007
[3] 边缘计算产业联盟. 边缘计算与云计算的协同白皮书[R].2018
[4] 云计算开源产业联盟. 云计算与边缘计算协同九大应用场景[R].2019
[5]CNCF.KubeEdge,An open platform to enable Edge computing [EB/OL].
[2020-05-20].https://kubeedge.io/
[6] 阿里云. ENS 边缘节点服务[EB/OL]. [2020-05-20].
https://help.aliyun.com/document_detail/63837.html?spm=5176.cnens.0.0.21a942fb72HwGf
&aly_as=niTfaW8BM
[7] 阿里云. 边缘容器 ACK EdgeKubernetes [EB/OL]. [2020-05-20].
https://developer.aliyun.com/article/703032
[8] 边缘计算产业联盟. 运营商边缘计算网络白皮书[R]. 2019
[9] 中国移动研究院. 5GOpenUPF 白皮书[R]. 2020
[10] ETSI. Mobile Edge Computing (MEC);Deployment of Mobile Edge Computing in an NFV
Environment: ETSI GR MEC 017 V1.1.1 [S].2018
[11] Rancher Labs. K3S[EB/OL].[2020-05-20]. https://k3s.io/
[12]AWS.Wavelength[EB/OL].[2020-05-20].https://aws.amazon.com/cn/wavelength/
作者简介
杨鑫，中国电信云计算分公司技术中台部副总经理；主要研究领域为 5G云化网络、云原生、视频云等技术与业务平台；已发表论文 20余篇，授权专利10余项。
赵慧玲，工业和信息化部通信科学技术委员会专职常委、信息通信网络专家组组长、中国通信学会信息通信网络技术专业委员会主任委员、中国通信标准协会网络与业务能力技术工作委员会主席、中国电信科技委常委兼核心网组负责人、国际标准组织 MEF 顾问董事、SDN/NFV 产业联盟技术委员会副主任。
关于《中兴通讯技术》《中兴通讯技术》是一本学术和技术相结合的公开刊物，现为中国科技核心期刊、中国百种重点期刊。本刊聚焦通信前沿技术，探讨通信市场热点，面向高端人群。
感谢阅读，欢迎扩散传播！感谢！边缘计算社区：促进边缘计算领域知识传播，中立，客观，如果您关注边缘计算、5G、物联网、云原生等领域请关注我们。
