多任务学习中的目标权重平衡（3）

本文介绍多任务学习中目标权重平衡方法。

传统多任务目标函数构造的问题：

多任务损失函数定义如下：

相应的，随机梯度下降的权重更新公式如下：

（注释：这里是共享层最后一层的权重，具体和多任务学习的网络构造有关，这里不做具体介绍。）

当某一个任务的梯度占据主导地位，或者任务梯度冲突时，权重更新可能并不是最优的。

Dynamic Task Prioritization - 动态任务优先

1. 本方法首先引入了Key Performance Indicators（KPI）参数，通常是准确率或者平准准确率，用于代表任务的难易程度。

KPI随着轮次的增加不断修正，

其中α代表discount factor，可以自定义，τ代表轮次。

2. 其次，基于KPI的定义，每个任务的权重可以表示为

对于KPI越高的任务，一般准确率较高，权重也会相应较小。

3. 最后，基于每个任务的权重，我们可以给出整个loss函数为：

其中FL函数，代表上面的。

参考文献：

【1】. Guo M, Haque A, Huang D A, et al. Dynamic task prioritization for multitask learning[C]//Proceedings of the European Conference on Computer Vision (ECCV). 2018: 270-287.

【2】.知乎专栏：https://zhuanlan.zhihu.com/p/269492239

机器学习

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。