多任务学习

xiaoxiao2021-02-28  28

多任务学习概述:从普通神经网络到深度学习(说的很清楚)

https://www.cnblogs.com/shuzirank/p/7141017.html

 

多任务学习的最近研究:以NLP为例:

http://ruder.io/multi-task-learning-nlp/

 

关于triplet loss函数的一个blog

https://blog.csdn.net/xiaofei0801/article/details/73801650

 

涉及到的问题:

1.       多任务之间需要设置权重,而权重的设置目前为止还是偏主观的判断。

2.       任务之间是否存在关联,会影响正则化设计的方式

3.       设置任务权重的方式只是一种方式,还有其他方式

4.       多任务之间的loss的取值区间,是否需要norm处理

5.       多任务之间是否需要学习某种条件不变性的特征,比如对光线/背景等。现多使用triplet方式。

6.       辅助性任务对最终结果有帮助:

l  相关;

l  相反;

l  线索性关系;

l  注意力模式,能够强迫网络学习某些特征;

l  量化特征,目标是离散的,转化成为连续的可能会更好;

l  表示学习,目标是让网络能学习一些可共享的任务,显式的让网络学习可迁移的特征提取网络。

 

转载请注明原文地址: https://www.6miu.com/read-2626827.html

最新回复(0)