GPU导入模型非常缓慢的解决办法
问题描述
最近在一台服务器上训练模型，奈何卡有点少。为了更有效率的调参，将网络和环境都迁移到一台8卡的服务器上。本以为会开启疯狂调参模式，没想到问题来了，GPU每秒加载4-5M的模型数据，我的模型和数据集一共差不多是8500M左右，这谁顶得住呀。
想办法
经过我的各种科学思考（网上乱查），都没找到解决办法。于是我慌了，换了一个在该服务器上的环境试了下，发下1秒读取8000M，稳得不行。
观察两个环境得差异发现新服务器得cuda是cuda10.0，原来服务器得cuda是cuda8.0，所以导致了我将cuda8.0版本下的tensorflow环境迁移到新环境失败，模型加载缓慢的问题。
解决办法
1.使用新服务器的环境
2.更新原始环境中的cudnn版本。
tips
查询GPU的cuda版本：nvcc -V
查询环境中的cuda版本：conda list，然后查看cudnn后的版本号
Reference
conda创建虚拟环境 和 用conda创建GPU的cuda、cudnn使用环境
完美解决由于CUDA版本不匹配造成的各种坑
本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！