打破网络数据孤岛，实现AI模型共建

联邦学习，顾名思义是指各个参与联邦的用户共建一个模型，模型由各联邦用户共同参与和贡献，得到的模型能力由各联邦用户共享。相对于单个用户训练的模型由于数据分布问题，只收集到部分训练数据，模型效果不够理想。利用各联邦用户的数据训练的共同模型，在训练的过程中，一系列算法保证了数据本身不会离开各个联邦用户，贡献的只是模型的改变量，保证了用户信息的安全性，预测效果也往往会好于每个联邦用户单独训练的模型。这一特性在网络领域数据分布不均的场景下尤为重要。

联邦学习为什么可以具备以上特性，因为其本质是一种加密的分布式机器学习技术。不同于分布式机器学习的是，它可以让参与联邦学习的各用户在不共享本地数据的前提下共建AI模型。其核心是：参与方在本地进行模型训练，然后仅将模型更新部分加密上传到云端，并与其它参与方的模型更新部分进行汇聚整合，形成一个公共的模型，这个公共的模型再由云端下发给各参与方，通过反复的本地训练以及反复的云端整合，最终得到一个更好的AI模型。

电信网络领域为何需要联邦学习

运营商在其运营运维的网络里有大量的智能设备，设备每时每刻都在产生大量的数据，由于数据是要保存在局点内部的，将各局点数据直接拿出来是万万不能的事情。如果使用局点内部的数据直接训练，有时候会由于数据分布不均匀，训练的模型泛化能力很差。因此我们很有必要启用联邦学习的黑科技，来解决这些问题。联邦学习主要解决三方面的问题：

1、  数据分布不均：数据样本在各地分布不均，样本量少的局点训练得出的AI模型效果较差，AI模型应用的泛化效果没有保障；

2、  隐私保护：由于数据安全、隐私保护（如欧盟的GDPR）造成的数据不出本地，形成的数据孤岛问题，传统的机器学习无法汇聚完整的训练数据，从而无法训练出较优的模型；

3、  分布式训练：边缘计算能力越来越强，分布式训练相对于集中训练，更能提升AI模型生成效率。

联邦学习充分发挥边缘节点的计算资源各自基于自身的本地数据进行模型训练，通过联邦的机制汇聚模型的更新部分，整合生成公共的AI模型，从而实现各参与方在不共享本地数据的前提下共建AI模型。

联邦学习所使用的技术并不新，但是将分布式训练、隐私保护等技术结合起来的时候，产生了一种特殊的化学反应，能够在保护隐私的前提下，进行更广泛规模的机器学习。该想法一经提出，就引起业界强烈关注，各大企业纷纷打造自己的联邦学习能力。华为根据这一迫切的需求，打造了NAIE联邦学习服务，致力于将联邦学习的能力渗透到运营商业务中，构建更加智能的网络。

联邦学习在电信网络领域中遍地开花

华为NAIE联邦学习服务助力华为CloudMSE基于SA(Service awareness)技术的业务管理

基于SA技术的业务管理分为如下几种类型：

l  识别业务流量后的带宽控制

l  识别业务流量后的阻塞控制

l  识别业务流量后的业务保障

例1：A地区的VOIP业务管控

A地区基于国情考虑，不允许使用VOIP类软件，但VOIP应用种类繁多、版本或协议更新频繁，很多应用还是加密的，需要SA技术支持对于VOIP软件的检测和控制。

图 1 VOIP业务管控

例2：热点共享行为控制

随着网络的发展，数据流量套餐包所包含的流量逐渐扩大，从1GB到40GB，到不限量。如果签约不限量套餐的用户为其他用户开启热点共享，则会给运营商带来收入损失，需要SA技术支持对于热点共享行为的检测，用以控制网络流量的非正常性过快增长。

图2 Tethering流量控制

例3：基于时段的P2P/VOIP业务控制和带宽管理

P2P、VoIP应用占用了很大的网络带宽资源，并且很多是对网络资源进行“恶意的”占用，导致网络不同程度的出现拥塞，而且不同时段的网络拥塞情况也不相同。为了确保用户业务正常使用，需要SA技术支持按照时段不同(忙时/闲时)对P2P/VOIP业务流按照不同的策略进行业务控制和带宽管理。

图 3 基于时段的P2P/VOIP业务控制和带宽管理

例4：Domain Fronting反SA流量识别

DomainFronting是目前最强大的反SA技术，被大量VPN和VoIP应用使用。DomainFronting的关键思想是在不同的通信层使用不同的域名，在HTTP(S)请求中，目标域名通常显示在三个关键位置：DNS查询、TLS（SNI）拓展及HTTP主机头中。通常，这三个地方都会是我们要访问的域名地址，然而，在"DomainFronting"请求中，DNS查询以及SNI携带了一个域名（前域），而在HTTPhost头中携带了另一个域名（隐蔽的，被禁止访问的域名），简单的图例如下：

图 4 Domain Fronting反SA流量识别

为了应对最为复杂识别场景，CloudMSE从四个不同的维度对流量进行区分。通过联合四个不同维度的特征，可以达到最精确的流量区分能力，满足客户最复杂的流量识别场景。针对不同的流量维度，CloudMSE支持多种不同的具体识别方法，保证识别过程高效、快速的完成。伴随着流量加密情况的逐步加剧，支撑CloudMSE流量识别的技术从字符串匹配类方法发展到启发式方法，最终发展到使用最强大AI技术支持华为达到业界顶级的识别精度。

华为NAIE联邦学习平台解决了训练过程中数据不出局以及数据分布不均匀的问题，打通了有安全保障的分布式训练，使流量识别准确率得到提升，识别工作由纯人工变为自动化，识别库更新更加智能。

以上的能力实现，是和华为NAIE联邦学习平台的稳定、便捷、通用等性能分不开的，接下来我们就来看联邦学习平台的功能和内置算法。

华为NAIE联邦学习服务有哪些能力？

华为NAIE联邦学习平台，提供了一套自动化的联邦学习服务，实现了一键式从创建联邦实例到管理边缘节点的平台服务。该服务可以让边缘用户自由加入退出，用户只要下载一个客户端，就可以加入联邦学习实例，和众多联邦用户一起共建更强大的AI模型。

NAIE联邦学习平台的能力

华为NAIE联邦学习平台提供了一键式创建联邦学习实例，用户只要下载一个客户端就可以轻松加入退出联邦学习，平台对联邦学习的整个过程达到了可视化的管理。联邦学习中的角色包括联邦节点（中心服务器/Server）和边缘节点（联邦用户/Client）。用户的一些idea可以通过创建联邦实例来发起众筹式训练，其他用户只要下载一个客户端即可轻松加入训练，并能够查看训练状态，享受共同训练的成果。华为NAIE联邦学习平台具有联邦实例管理能力，边缘节点管理能力和运行联邦实例能力。具体的能力分别为：

联邦节点管理

边缘节点管理

联邦实例运行

平台内置的算法

华为NAIE联邦学习平台当前以横向联邦为基础，内置了众多联邦学习能力，包括联邦汇聚，梯度分叉，多方计算，压缩算法等能力。这些能力在实际数据上被证明有效，训练出共同的AI模型，能够达到所有数据共同训练出AI模型的效果，优于每个联邦用户单独训练的效果。算法能力还在不断的扩充，今后还会对纵向联邦学习能力提供支持。

有了这些能力，用户可以通过各种方式发起联邦学习任务，从中受益。

AI模型开发者，基于自己拥有的数据训练自己的AI模型，由于数据样本较少，训练得到的模型效果始终达不到预期，这个时候他可以寻求与自己应用类型相似的其它项目，发起联邦学习。

AI交付项目群经理，自己手头有很多应用类型相似的AI交付项目，但由于数据不出局的限制，各个项目的AI模型都基于各自的数据独立训练，由于数据样本分布不均，模型应用效果参差不齐。此时该项目经理发起联邦学习，将各个项目作为联邦成员一起来共建AI模型。

—— 展 望 ——

华为NAIE联邦学习服务虽然还处在刚刚起步的阶段，但是其能力和后劲十足，现实中很多应用场景都可以轻松改造成联邦学习平台可承载的模式。借助平台隐私保护的能力，和分布式训练的能力，今后的网络运营必将更加自动化和智能化。

网络智能体

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。