跨視圖時(shí)序?qū)Ρ葘W(xué)習(xí)的自監(jiān)督視頻表征算法
計(jì)算機(jī)工程與應(yīng)用
頁數(shù): 9 2024-04-16
摘要: 現(xiàn)有的自監(jiān)督表征算法主要關(guān)注視頻幀之間的短期運(yùn)動(dòng)特性,但是幀間動(dòng)作序列的變化幅度較小,而且單視圖數(shù)據(jù)因語義受限影響深度特征表達(dá)能力,視頻動(dòng)作中豐富的多視圖信息未被充分利用。為此提出基于跨視圖語義一致性的時(shí)序?qū)Ρ葘W(xué)習(xí)算法,自監(jiān)督學(xué)習(xí)RGB幀和光流場(chǎng)兩種數(shù)據(jù)中蘊(yùn)含的動(dòng)作時(shí)序變化特性,主要思路為:設(shè)計(jì)局部時(shí)序?qū)Ρ葘W(xué)習(xí)方法,采用不同正負(fù)樣本劃分策略,挖掘同一實(shí)例不重疊片段之間的時(shí)序相關(guān)... (共9頁)