異構(gòu)平臺下卷積神經(jīng)網(wǎng)絡(luò)推理模型自適應(yīng)劃分和調(diào)度方法

摘要： 針對卷積神經(jīng)網(wǎng)絡(luò)（CNN）在異構(gòu)平臺執(zhí)行推理時存在硬件資源利用率低、延遲高等問題，提出一種CNN推理模型自適應(yīng)劃分和調(diào)度方法。首先，通過遍歷計算圖提取CNN的關(guān)鍵算子完成模型的自適應(yīng)劃分，增強調(diào)度策略靈活性；然后，基于性能實測與關(guān)鍵路徑-貪婪搜索算法，在CPU-GPU異構(gòu)平臺上根據(jù)子模型運行特征選取最優(yōu)運行負(fù)載，提高子模型推理速度；最后利用張量虛擬機（TVM）中跨設(shè)備調(diào)度機制，... （共8頁）