當(dāng)前位置:首頁 > 科技文檔 > 自動化 > 正文

帶消極動量的自適應(yīng)步長隨機(jī)方差縮減方法

中國科學(xué)院大學(xué)學(xué)報(中英文) 頁數(shù): 12 2024-09-15
摘要: 近年來,隨機(jī)方差縮減類方法在解決大規(guī)模機(jī)器學(xué)習(xí)問題中取得很大成功,自適應(yīng)步長技術(shù)的引入減輕了該類方法的調(diào)參負(fù)擔(dān)。針對自適應(yīng)步長的方差縮減算法SVRG-BB,指出其算法設(shè)計帶來了“進(jìn)展-自適應(yīng)步長有效性”的權(quán)衡問題。因此引入Katyusha動量以更好地處理該權(quán)衡問題,并且在強(qiáng)凸假設(shè)下證明由此得到的SVRG-BB-Katyusha算法的線性收斂性質(zhì)。之后基于“貪婪”思想,提出稀疏地... (共12頁)

開通會員,享受整站包年服務(wù)立即開通 >
科技文檔