一種課程學(xué)習(xí)范式下的知識(shí)蒸餾方法

摘要： 隨著工業(yè)4.0時(shí)代的到來(lái)，神經(jīng)網(wǎng)絡(luò)在實(shí)現(xiàn)整個(gè)工業(yè)系統(tǒng)自動(dòng)化的各個(gè)環(huán)節(jié)獲得了廣泛的應(yīng)用。
然而大規(guī)模神經(jīng)網(wǎng)絡(luò)往往消耗了大量的存儲(chǔ)、內(nèi)存帶寬和計(jì)算資源，在計(jì)算受限的工業(yè)場(chǎng)景中很難高效利用，相比之下，輕量級(jí)網(wǎng)絡(luò)具有更加廣泛的應(yīng)用前景。
知識(shí)蒸餾提取一個(gè)大規(guī)模高性能教師網(wǎng)絡(luò)的知識(shí)來(lái)指導(dǎo)一個(gè)輕量化低性能學(xué)生網(wǎng)絡(luò)的訓(xùn)練，在提升輕量級(jí)網(wǎng)絡(luò)性能方面已獲得成功驗(yàn)證。 （共8頁(yè)）