gcc需要很多内存来编译堆栈上具有非常大的对象的c ++文件

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了gcc需要很多内存来编译堆栈上具有非常大的对象的c ++文件相关的知识,希望对你有一定的参考价值。

我有一个使用std::bitset<size>的c ++文件。当在windows子系统linux上使用gcc进行编译时,如果size = 1000000000(1Gbit)导致大约1.6GB的编译时内存使用,size = 10000000000(10Gbit)会导致约6GB内存和~15GB虚拟内存(我的PC总共有8GB内存)。内存逐渐分配,编译完成后立即完成。如果Segmentation fault (core dumped)很大,那么一旦发射,该程序就会进入size。转折点在10M到100M之间。

在MSVC上,如果size很小,程序编译并运行良好。对于更大的size,抛出异常:“堆栈溢出”。如果size非常大,它会在文件bitset中给出错误“数组的总大小不得超过0x7fffffff字节”

该问题与优化级别无关。无论-O0,-O1,-O2还是O3,都是一样的。

这是gcc -v的输出:

Using built-in specs.
COLLECT_GCC=gcc
COLLECT_LTO_WRAPPER=/usr/lib/gcc/x86_64-linux-gnu/7/lto-wrapper
OFFLOAD_TARGET_NAMES=nvptx-none
OFFLOAD_TARGET_DEFAULT=1
Target: x86_64-linux-gnu
Configured with: ../src/configure -v --with-pkgversion='Ubuntu 7.3.0-27ubuntu1~18.04' --with-bugurl=file:///usr/share/doc/gcc-7/README.Bugs --enable-languages=c,ada,c++,go,brig,d,fortran,objc,obj-c++ --prefix=/usr --with-gcc-major-version-only --program-suffix=-7 --program-prefix=x86_64-linux-gnu- --enable-shared --enable-linker-build-id --libexecdir=/usr/lib --without-included-gettext --enable-threads=posix --libdir=/usr/lib --enable-nls --with-sysroot=/ --enable-clocale=gnu --enable-libstdcxx-debug --enable-libstdcxx-time=yes --with-default-libstdcxx-abi=new --enable-gnu-unique-object --disable-vtable-verify --enable-libmpx --enable-plugin --enable-default-pie --with-system-zlib --with-target-system-zlib --enable-objc-gc=auto --enable-multiarch --disable-werror --with-arch-32=i686 --with-abi=m64 --with-multilib-list=m32,m64,mx32 --enable-multilib --with-tune=generic --enable-offload-targets=nvptx-none --without-cuda-driver --enable-checking=release --build=x86_64-linux-gnu --host=x86_64-linux-gnu --target=x86_64-linux-gnu
Thread model: posix
gcc version 7.3.0 (Ubuntu 7.3.0-27ubuntu1~18.04)

这是我的测试代码,非常简单

#include <bitset>

int main(){
    const size_t size = ...;
    std::bitset<size> bs;
    return 0;
}

如果使用gcc-8代替gcc-7则没有这样的问题,编译快速完成,如果size很大,程序就会遇到分段错误。如果我使用vector<bool>或使用new创建bitset,它运行良好。

所以没有问题可以解决,但我的问题是:

为什么gcc-7需要这么多内存(和时间)来编译文件?

答案

这是GCC中的一个已知错误,与constexpr初始化非常大的对象有关。

2013年3月针对v4.7.2报告了几个错误报告,其中一个是bug 56671。该错误在2018年6月被标记为已解决,这意味着它至少存在于v7.3,但现在已得到纠正。

如果您需要一种解决方法,似乎使用不同的构造函数不会触发该错误。特别是,将std::bitset<size> bs;更改为std::bitset<size> bs(0);可以在各种版本的gcc上编译,包括v.7.3.0(根据我尝试的在线编译器)。

以上是关于gcc需要很多内存来编译堆栈上具有非常大的对象的c ++文件的主要内容,如果未能解决你的问题,请参考以下文章

我应该使用哪个内存(堆或堆栈)来分配像 100MB 这样的大内存?

快速了解Linux上gcc编译器

GCC 中有固定大小的整数吗?

gcc命令

gcc常用命令

linux上程序溢出了 怎么查看堆栈