数据样本少？数据不出局？联邦学习专治各种不服！

业内认为，当前的人工智能成果大都是“狭隘”的，即面向特定任务，只能解决特定问题，比如深度学习在围棋比赛、图像识别等领域的应用已经不逊于人类。

2017年10月16日，UC Berkeley电气工程与计算机科学系（EECS）14位专家联合发布了一份名为《A Berkeley View of Systems Challenges for AI》的报告。该报告明确提出，下一代人工智能系统的问题需要通过体系结构、软件和算法的协同创新来实现，面临的四大趋势和九大挑战，都需要一步步去解决。

1. 数据孤岛，数据整合几乎不可能：由于行业竞争、隐私安全等问题，机构之间数据共享很难，同一公司内数据整合也困难。如在产品推荐服务中，销售方拥有产品数据，但没有用户购买能力和支付习惯数据。

1. 横向联邦学习：训练的数据特征相同，分布在不同地方的数据是属于不同用户的，属于样本数量的扩展，适用于同领域的样本量联合建模。

2. 纵向联邦学习：训练的数据特征不同，分布在不同地方的数据是属于相同用户的，属于样本特征的扩展，适用于不同领域的样本特征联合建模。

3. 联邦迁移学习：训练的数据特征不同，分布在不同地方的数据也是属于不同用户的，属于模型的迁移，适用于不同领域在隐私保护下的模型迁移。

针对通信领域数据不允许出局的业务诉求，华为网络人工智能产品部在2019年启动联邦学习的研究与开发。华为网络人工智能联邦学习的基础架构主要分为服务器端和客户端，基于此基础架构，NAIE在通信领域的不同场景分别实现了横向联邦学习、纵向联邦学习、联邦迁移学习。

1. 联邦学习全生命周期的管理：提供联邦学习在开发态的一键式开发工具链，以及运行态的图形化运维工具，通过友好易用的客户界面，极大提升客户开发与运行的效率。

2. 全场景的联邦学习支持及灵活的部署模式：区别于业界联邦学习复杂的功能区分，网络人工智能联邦学习通过服务端（Federated Learning Server）+客户端（Federated Learning Client）这种简洁的功能区分，实现了全场景的联邦学习，灵活的部署在通信领域的不同联邦学习场景。

3. 高性能及多样的算法支撑：支持神经网络、深度神经网络、线性、逻辑回归、决策树、随机森林、Xgboost、GBDT、lightGBM等算法；支持联邦训练的分布式计算能力，性能倍增；支持联邦训练的AutoML能力，极大提升客户在联邦模型的训练易用性。

4. 强大的安全隐私算法：支持华为自研的多种隐私加密算法：安全多方计算（Federated-MPC），随机安全平均（Random Secure Averaging）算法，同态加密（Paillier）、匿踪查询（OT）等，提供匹配应用场景的隐私加密算法；密文推理保证推理过程隐私。

结合华为在通信领域、人工智能领域的多年经验沉淀和研发投入，NAIE联邦学习主要服务于通信领域的联邦学习场景，分布在如下多个场景成功实现了联邦学习的应用：

ONT精准识别应用，实现品质家宽

2. 技术方案

3. 前景价值

运营商和银行共建信用分模型

1. 背景需求

2. 技术方案

3. 前景价值

数据中心PUE模型联邦迁移学习

1.背景需求

2.技术方案

一期存在大量有标签的数据，二期只有极少量有标签数据，数据极不均衡，但一期和二期存在部分重叠特征。

3.前景价值

AI 机器学习

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。