pytorch线程池泄露leaking caffe2 thread-尊龙游戏旗舰厅官网
尊龙游戏旗舰厅官网
收集整理的这篇文章主要介绍了
pytorch线程池泄露leaking caffe2 thread-pool after fork
小编觉得挺不错的,现在分享给大家,帮大家做个参考.
这两天跑模型,换了新环境,在实验室服务器上跑,由于cpu很猛(线程撕裂者3975wx,32核64线程),索性我就干脆设置num_workers = 10,这样做数据增强确实快很多,而且cpu占用率也才25%(这cpu真滴猛)。于是乎训练过程,出现了警告,数量为设置的线程数量:
[w pthreadpool-cpp.cc:90] warning: leaking caffe2 thread-pool after fork. (function pthreadpool)如果把线程数改小一些,就不会有警告了,但是会影响运行速度,所以可以当作不存在。pytorch版本1.10之后就会修复了,问题不大。
参考:
https://blog.csdn.net/qq_41963227/article/details/119391566
总结
以上是尊龙游戏旗舰厅官网为你收集整理的pytorch线程池泄露leaking caffe2 thread-pool after fork的全部内容,希望文章能够帮你解决所遇到的问题。
- 上一篇:
- 下一篇: