pycharm 一直索引或索引过大占用系统盘问题

Posted piaolingjilu

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了pycharm 一直索引或索引过大占用系统盘问题相关的知识,希望对你有一定的参考价值。

最近用pycharm做深度学习, 越用越慢,而且很容易内存溢出。

最终解决办法:将除代码库之外数据全部迁移出项目。避免pycharm对图片数据进行索引,费时且无用

程序明明只是存取,示范。不应该占用大内存。并且这种是随着使用的开始,越来越长。从最开始的十几秒,到几分钟,到现在一个小时。网上搜索方法都不能解决。后面察觉到pycharm可以直接查看项目下的文件夹图片。怀疑是也对图片文件进行索引。于是将所有数据移除项目。内存占用从5G还不能满足-》600M;索引速度从2个小时还不能满足降低到十几秒。

最初原因:1)方便代码索引数据,所以代码里面使用相对路径。因此,数据直接放置在目录下。刚开始研究深度学习,数据都比较小。随着学习深入,数据规模越来越大,比如变分生成网络(DCGAN)。原始数据200M,但是中间生成的训练图片达到12G。2)pycharm会默认将项目数据都遍历,期间内存会增加,检索时间根据项目大小改变。

----------------------------------------------

将数据迁移出去是个办法。但是拷贝代码等情况,会使得代码迁移麻烦。所以,网上还有一段最初被我忽略信息“将不想索引的文件夹设置为Excluded Folders即可”。是更好的解决办法。

以上是关于pycharm 一直索引或索引过大占用系统盘问题的主要内容,如果未能解决你的问题,请参考以下文章

PyCharm 占用过大 C 盘空间,system 配置文件迁移

Hadoop之小文件处理与调优经验

win10系统,磁盘占用100%

ORA-08104该索引对象 3846656 正在被联机建立或重建

做爬虫时内存占用太快怎么清理,如爬取tao宝全网数据,内存约占越大最后整个pycharm被憋死,设了gc还不行

20180523篇