pytorch 兩個(gè)GPU同時(shí)訓(xùn)練的解決方案

第pytorch兩個(gè)GPU同時(shí)訓(xùn)練的解決方案os.environ['CUDA_VISIBLE_DEVICES']='0,1'

device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")

#對(duì)于1號(hào)GPU

os.environ['CUDA_VISIBLE_DEVICES']='0,1'

device=torch.device("cuda:1"iftorch.cuda.is_available()else"cpu")

0號(hào)GPU不報(bào)錯(cuò)，1號(hào)GPU報(bào)錯(cuò)。錯(cuò)誤如下

RuntimeError:Expectedtensorforargument#1‘input'tohavethesamedeviceastensorforargument#2‘weight';butdevice0doesnotequal1(whilecheckingargumentsforcudnn_convolution)

錯(cuò)誤代碼2：

#對(duì)于0號(hào)GPU

os.environ['CUDA_VISIBLE_DEVICES']='0'

device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")

#對(duì)于1號(hào)GPU

os.environ['CUDA_VISIBLE_DEVICES']='1'

device=torch.device("cuda:1"iftorch.cuda.is_available()else"cpu")

0號(hào)GPU不報(bào)錯(cuò)，1號(hào)GPU報(bào)錯(cuò)。錯(cuò)誤如下

CUDA:invaliddeviceordinal

正確代碼如下：

#對(duì)于0號(hào)GPU

os.environ['CUDA_VISIBLE_DEVICES']='0'

device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")

#對(duì)于1號(hào)GPU

os.environ['CUDA_VISIBLE_DEVICES']='1'

device=torch.device("cuda:0"iftorch.cuda.is_available()else"cpu")

pytorch多個(gè)gpu遇到的問題

目前所在學(xué)校的計(jì)算機(jī)系自己搭建了個(gè)GPUFarm，設(shè)備是GTX1080Ti的，看起來還算ok，但其實(shí)細(xì)究起來還挺雞肋的。但是總對(duì)于數(shù)據(jù)量巨大的項(xiàng)目，還是需要跑代碼吧，將就著用了。因?yàn)橘Y源有限，分配到超過1個(gè)gpu需要排隊(duì)，所以從來沒嘗試過使用多個(gè)gpu。最近由于數(shù)據(jù)量變大，也急于取得進(jìn)展，因此開始嘗試分配多個(gè)gpu。使用的過程中出現(xiàn)的問題，在此做個(gè)記錄。

首先，因?yàn)椴煌脚_(tái)的GPUFarm搭建的規(guī)則不一樣，如何分配到多個(gè)gpu在此就不做記錄了。不得不說，學(xué)校的GPUFarm資源少的可憐，分配到2個(gè)gpu常常要排隊(duì)半小時(shí)。

以下羅列遇到的問題。

torch.nn.DataParallel()

因?yàn)閷?duì)pytorch的理解還不夠深，因此為了提高速度，從官網(wǎng)上注意到DataParallel，據(jù)說最簡單的方法是直接用

model=torch.nn.DataParallel(model)

model.cuda()

來實(shí)現(xiàn)，但是萬萬沒想到它給我?guī)淼臅r(shí)間浪費(fèi)還真不是一星半點(diǎn)。

首先我分配到了2個(gè)gpu設(shè)備，之后在我的代碼中只添加了如上的命令，而后便收到了如下報(bào)錯(cuò)

ValueError:onlyoneelementtensorscanbeconvertedtoPythonscalars

這個(gè)報(bào)錯(cuò)直指我的loss.item()，通過debug我發(fā)現(xiàn)它的tensordimension的確變成了2個(gè)elements。在做了更多無效debug和上網(wǎng)查閱之后，我鬼使神差地調(diào)整回了1個(gè)gpu想看看效果會(huì)不會(huì)不一樣，然后居然順利運(yùn)行了。

稍微思考一下，感覺倒是很合理。假設(shè)兩個(gè)gpu并行同時(shí)各自訓(xùn)練一個(gè)batch，那么得到的loss自然應(yīng)該是2個(gè)elements，淺顯地認(rèn)為將其看做兩個(gè)batch訓(xùn)練的loss結(jié)果就可以了。

目前手頭有比較急于出結(jié)果的數(shù)據(jù)集和項(xiàng)目，因此暫時(shí)沒有過多