如何避免由于内存不足导致的gcc崩溃
Posted
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了如何避免由于内存不足导致的gcc崩溃相关的知识,希望对你有一定的参考价值。
在尝试编译一个类时,我继续崩溃gcc(由于内存不足),该类使用在我的类的相应.h文件中定义的许多函数模板。当我开始编译该cpp文件时,我有6.4GB的可用内存:
$ free -mh
total used free shared buff/cache available
Mem: 9.7G 3.1G 6.5G 260K 212M 6.4G
Swap: 947M 887M 59M
这是gcc的详细信息:
$ gcc -v
Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/7/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 7.3.0-16ubuntu3' --with-bugurl=file:///usr/share/doc/gcc-7/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++ --prefix=/usr --with-gcc-major-version-only --with-as=/usr/bin/x86_64-linux-gnu-as --with-ld=/usr/bin/x86_64-linux-gnu-ld --program-suffix=-7 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-libmpx --enable-plugin --enable-default-pie --with-system-zlib --with-target-system-zlib --enable-objc-gc=auto --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
gcc version 7.3.0 (Ubuntu 7.3.0-16ubuntu3)
这是崩溃前编译该文件时的内存情况:
$ free -mh
total used free shared buff/cache available
Mem: 9.7G 9.6G 113M 352K 58M 816K
Swap: 947M 947M 0B
崩溃细节:
c++: internal compiler error: Killed (program cc1plus)
Please submit a full bug report,
with preprocessed source if appropriate.
See <file:///usr/share/doc/gcc-7/README.Bugs> for instructions.
main.dir/build.make:127: recipe for target 'myclass.cpp.o' failed
有什么我可以做的,以避免这种情况(除了删除模板)?我个人认为6.4GB应该有足够的内存来编译.cpp文件,无论文件有多复杂。在这个想法中我错了吗?
编辑。这是.hpp中的函数原型:
typedef std::shared_ptr<Object> ObjectPtr;
template<typename MapTypeT, typename KeyTypeT, typename ValueTypeT>
ObjectPtr InitMap(KeyTypeT key, ValueTypeT value, std::list<std::pair<ObjectPtr, ObjectPtr>> keyValuePairs);
template<typename KeyTypeT, typename ValueTypeT>
ObjectPtr ConstructMap(KeyTypeT key, ValueTypeT value, std::list<std::pair<ObjectPtr, ObjectPtr>> keyValuePairs); // calls InitMap<std::unordered_map> and InitMap<std::map>
template<typename KeyTypeT>
ObjectPtr DeduceValue(KeyTypeT key, const ObjectPtr &anyValue, const std::list<std::pair<ObjectPtr, ObjectPtr>> &keyValuePairs); // calls ConstructMap<KeyTypeT, ValueTypeT>
ObjectPtr CreateMap(std::list<std::pair<ObjectPtr, ObjectPtr>> keyValuePairs); // calls DeduceValue<KeyTypeT>
Aaditi。
这里证明gcc实际上使用6GB进行编译:
Tasks: 295 total, 4 running, 223 sleeping, 0 stopped, 0 zombie
%Cpu(s): 57.0 us, 2.3 sy, 0.0 ni, 40.7 id, 0.0 wa, 0.0 hi, 0.0 si, 0.0 st
KiB Mem : 10208840 total, 138780 free, 9850648 used, 219412 buff/cache
KiB Swap: 969960 total, 28 free, 969932 used. 104132 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
91917 mfonnem+ 20 0 6381472 6.029g 14936 R 99.3 61.9 2:50.04 cc1plus
90603 mfonnem+ 20 0 5300888 1.243g 16796 S 8.6 12.8 5:42.14 java
编辑3.我将交换内存增加到8GB,现在gcc在尝试编译该文件时使用的内存不到8GB:
top - 00:13:27 up 5:25, 1 user, load average: 2.55, 2.02, 1.92
Tasks: 298 total, 3 running, 226 sleeping, 0 stopped, 0 zombie
%Cpu(s): 3.9 us, 16.5 sy, 0.0 ni, 13.4 id, 42.9 wa, 0.0 hi, 23.4 si, 0.0 st
KiB Mem : 10208832 total, 111252 free, 10015484 used, 82096 buff/cache
KiB Swap: 8388604 total, 3069856 free, 5318748 used. 7256 avail Mem
PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND
25578 20 0 9071708 7.498g 412 R 27.2 77.0 5:27.26 cc1plus
最后,它报告:
internal compiler error: Segmentation fault
}
^
Please submit a full bug report,
with preprocessed source if appropriate.
See <file:///usr/share/doc/gcc-7/README.Bugs> for instructions.
EDIT4。可以使用clang ++进行编译。
我个人认为6.4GB应该有足够的内存来编译.cpp文件,无论文件有多复杂。在这个想法中我错了吗?
是。 C ++模板碰巧“意外地”图灵完成(参见this并阅读Todd L. Veldhuizen C++ Templates are Turing Complete论文)。
所以你错了。病态C ++程序可以花费任意(甚至无限)的时间和内存来编译(并且编写这样的病态C ++程序非常容易)。
换句话说,C ++程序编写者应该非常谨慎地使用模板和简约。编写一个爆炸性模板(在模板扩展时使用combinatorial explosion)非常容易。当您编写模板代码时,您需要说服自己(并且理想情况下,证明)它们的扩展需要线性(或有限的,或至少是合理的)时间和空间,因此您应该估计模板扩展的时间和空间complexity。
BTW 8千兆字节的RAM今天不是很多。考虑购买更多RAM,增加交换空间,关闭每个非必要的应用程序(IDEs,文字处理器,Web浏览器,JVM,......),禁用调试信息,降低优化级别,编译时(并在命令行)。也许升级到GCC 8也许有帮助。也许也尝试Clang。
而且你的模板中可能存在错误(例如,不正确或“无限”的递归或过度扩展)。
您可能想要像GCC C++ options一样使用-ftemplate-depth
(以捕获模板过多的深度)。
以上是关于如何避免由于内存不足导致的gcc崩溃的主要内容,如果未能解决你的问题,请参考以下文章