基于技能網(wǎng)絡(luò)的通用自然語言生成模型

摘要： 使用多任務(wù)訓練的自然語言生成模型僅使用一個模型即可完成各種不同的自然語言生成任務(wù)。但這種所有任務(wù)共享所有參數(shù)的模型，無法清楚地知道模型的每一部分參數(shù)學到了什么技能。為了根據(jù)不同的任務(wù)選擇激活不同的模型參數(shù)，該文提出了一種基于稀疏激活的通用自然語言生成模型(SkillNet-NLG)。與傳統(tǒng)的稠密模型在執(zhí)行任務(wù)時激活所有的模型參數(shù)不同，SkillNet-NLG在執(zhí)行任務(wù)時，首先依... （共11頁）