Win10程序意外挂掉，但显存依然被占用
1.软件环境
Windows10 教育版64位
Tensorflow-GPU 2.3.0
Keras 2.4.3
CUDA 10.1
2.问题描述
在使用Tensorflow进行模型训练时，很有可能会因为batch_size设置太大或者样本分辨率太大导致OOM（Out Of Memory）。
像这样：
这样：
这个时候程序已经挂掉退出了，此时如果你运行任何要占用显存的程序很可能会引发OOM！这个时候使用工具查看显存居然没有被释放，依然被程序占用达到95%：
任务管理查看显存被占用，也是一样的情况：
这就导致了我们无法运行任何占用显存的程序，也没法重新进行模型的训练！
Linux系统下可以使用fuser命令或者ps命令找到占用显存的程序，将其关闭即可，具体可以参考如下博客，在此不赘述：
重点是：Windows系统没有fuser命令或者ps命令可用，那这个时候又该怎么办呢？
3.解决方法
首先，重启肯定可以解决问题，但是有的时候电脑还真不能随便重启，比如：
- 你的电脑是服务器，随便重启就意味着宕机，特别是软、硬件比较复杂的机器，特别是你的系统盘还是机械硬盘。这个时候，开机自检都要等好一会儿，这就造成了服务的不可用；
- 有重要的工作没有保存，即使能够保存也丢失了撤销每一步操作的可能。如你在写Word，你在写代码，保存就意味着
ctrl+z没法用了；- 每次遇到问题都用重启回避的话，问题一直没有解决，为什么不直接面对问题本身呢？
- ·······
那么，我们如何在不重启电脑的情况下，解决这个问题呢？接着往下看：
3.1.查找当前占用显存的程序
首先，我们使用nvidia-smi命令，查找到目前使用显存的程序：
可以看到，最有嫌疑的程序就是当前虚拟环境中的python.exe，我们尝试将其关闭。
3.2.关闭显存占用程序
打开任务管理器，查看是否有python.exe相关的进程，遗憾的是并没有~~，pycharm下也没有python.exe进程：
那么怎么找到这个进程呢？
打开任务管理器→性能→资源监视器→CPU，在关联的句柄中输入python，可以看到python.exe已经被我们找到了：
这不就是我们的程序工作路径吗？？？？，那应该就是它搞的鬼，没得跑了！
此时，只需要右键该进程，选择结束进程即可！
4.结果预览
通过命令查看，显存已经被释放了：
自然就可以运行新的模型训练脚本了！
都看到这里了，还不赶紧点赞，评论，收藏走一波？