基于Transformer結(jié)構(gòu)增強(qiáng)的神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索性能預(yù)測器
計(jì)算機(jī)學(xué)報(bào)
頁數(shù)： 16 2024-04-19
摘要： 神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索(Neural Architecture Scarch,NAS)作為一種通過搜索算法設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)架構(gòu)的方法,在計(jì)算機(jī)視覺和自然語言處理等領(lǐng)域得到廣泛應(yīng)用,相較于人工設(shè)計(jì)網(wǎng)絡(luò),NAS方法可以減少設(shè)計(jì)成本并提高模型性能.但是NAS的性能評估需要對候選架構(gòu)進(jìn)行大量訓(xùn)練,由此帶來的計(jì)算量占整個(gè)NAS的80%以上.為降低計(jì)算開銷和時(shí)間成本,近年來已提出許多基于Transf... （共16頁）
APP 