面向深度神經(jīng)網(wǎng)絡(luò)大規(guī)模分布式數(shù)據(jù)并行訓(xùn)練的MC~2能耗模型

摘要： 深度神經(jīng)網(wǎng)絡(luò)（deep neural network,DNN）在許多現(xiàn)代人工智能（artificial intelligence,AI）任務(wù)中取得了最高的精度.近年來，使用高性能計算平臺進行大規(guī)模分布式并行訓(xùn)練DNN越來越普遍.能耗模型在設(shè)計和優(yōu)化DNN大規(guī)模并行訓(xùn)練和抑制高性能計算平臺過量能耗方面起著至關(guān)重要的作用.目前，大部分的能耗模型都是從設(shè)備的角度出發(fā)對單個設(shè)備或多個設(shè)... （共20頁）