关于深度学习扩展的CUDA和cuDNN版本的问题。

KHK

嗨,RapidMiner。

首先，非常感谢您造就了这样一位伟大的操作员。

但我在使用深度学习扩展时有个问题。

当深度学习后端设置为CPU时，使用深度学习扩展的深度学习算子的协议运行良好，但当深度学习后端设置为GPU时，它很少使用GPU。我们还发现，计算速度也比我们使用CPU设置后端时慢。

我的显卡是GTX 1080 Ti, CUDA版本是9.0.176,cuDNN版本是7.0。我们还为cuDNN设置了环境变量。

我错过什么了吗?我知道你很忙，但我需要帮助。: - (

谢谢你！

金姆。

David_A

嗨@KHK，

你的描述听起来好像一切都准备好了。

你能在设置中成功切换到GPU后端，并在进程运行时看到GPU的实际使用情况吗?<我> nvidia-smi 是一个非常有用的监视命令，用于查看GPU上实际发生的情况。


一个典型的问题是，(迷你)批大小太小，因此在每次迭代中只有一小部分数据在GPU上实际计算。在这种情况下，GPU的计算速度非常快，并且GPU和系统其余部分之间的传输成本抵消了加速。

这同样适用于小数据集和小网络。

希望这对你有所帮助，
大卫

David_A

好的，对于这样大小的示例集，GPU的好处完全被加载数据的传输成本抵消了。

您可以尝试将Batch Size增加很多(400?)，但我认为在这种情况下，仅使用CPU仍然可以获得更快的执行速度。

KHK

嗨@David_A

很抱歉回复晚了。

下面是该过程正在进行时的nvidia-smi屏幕。

以及任务管理器中的GPU屏幕。


说明显卡驱动版本为安装CUDA 9.0时自动安装的最低版本。

将此图形驱动程序升级到最新版本时也会出现相同的问题。

批大小为40，训练集中的数据数约为4300。