Windows 下的 git svn clone large repo：内存不足 - 不是大文件问题

Posted 2023-02-25

【中文标题】Windows 下的 git svn clone large repo：内存不足 - 不是大文件问题

【英文标题】：git svn clone large repo under Windows: out of memory - not a large file issue

【发布时间】：2015-01-27 00:47:43

【问题描述】：

我正在尝试使用 git svn 克隆一个大型 svn 存储库。回购有 100000 次修订。大小约为 9GB（原始文件夹）。 repo 中最大的文件是 300 MB。

repo 中的分支结构一团糟。很多错误和缺失的合并信息，没有标准布局。我试图获取带有和不带有分支的最新版本。没有分支的命令如下所示：

git svn clone url_to_trunk_in_repo -r100000:HEAD --username=svn_user

HEAD 当前为 101037。该过程运行了一段时间（数小时）并失败并出现以下情况：

请求 29040 字节期间内存不足，总共 sbrk() 为 254959616 字节！

我有最新维护的 Windows git 修订版 (Git-1.9.4-preview20140929)，运行在 16 GB RAM 的 Windows 7 x64 上。

我已经对这种失败进行了一些搜索。大多数帖子都提到了几年前的大文件问题，这很可能已经修复（尚未检查）。无论如何，这个问题是指大分配，由错误消息在“大”请求期间指示。但是，在添加小尺寸的正常实现文件时，该过程会失败。因此，我不认为这是一个大文件的问题。

我尝试修改 etc/gitconfig 中的包设置，这是一个常见的建议。然而，这并没有帮助。我根本没想到它会有所帮助，因为内存错误是在从 svn 服务器下载期间而不是在处理包的 git gc 期间，AFAIK。

进一步挖掘导致我发现 perl 内存限制为 256MB。这很可能是这种情况，因为我总是在将近 256MB 的 sbrk() 时遇到错误。

对 perl 内存限制的进一步调查只提出了操作系统内存限制。那是 win32 上的 2GB（带有特殊开关的 3GB）和 64 位窗口的 RAM 限制。我还找到了一些提高 Cygwin 内存限制的建议，但这并不适用于此。

256MB 的限制在我看来是荒谬的，我拼命寻找解决这个问题的方法。

---

编辑： 这可能是 Perl 5.8.8 问题（git 使用该版本）。我还安装了草莓 perl 5.16.3 x64。 我已经编写了这个测试代码，这是对发布在this *** question的代码的修改：

use strict;
use warnings;

my @s;
my $count = 200;
my $alloc = 30000000;

for (my $i = 0; $i < $count; $i++)
   print "Trying allocation...";
    $s[$i] = "a" x $alloc;   # ok
    print "OK\n\n";

使用草莓 perl，这可以完美运行。在 git bash 中，我收到之前描述的错误。

“大”请求期间内存不足 33558528 字节，总计 sbrk() 在 mem.pl 第 9 行是 2351800 32 个字节。

---

编辑 2： 我试过草莓 perl 5.8.8-1。它分配正确，但是，程序在执行后崩溃。因此，这通常不是 perl 5.8.8 中的错误，而是 git 附带的版本（msys perl 5.8.8） 草莓 perl 和 msys perl 的配置在许多条目中有所不同。对我来说最显着的区别是 usemymalloc=n（草莓）和 usemymalloc=y（msys perl）。

我还检查了git bash中的ulimit，没有显示任何异常：

$ ulimit -a
core file size          (blocks, -c) unlimited
data seg size           (kbytes, -d) unlimited
file size               (blocks, -f) unlimited
open files                      (-n) 256
pipe size            (512 bytes, -p) 8
stack size              (kbytes, -s) 2046
cpu time               (seconds, -t) unlimited
max user processes              (-u) 63
virtual memory          (kbytes, -v) 2097152

【问题讨论】：

你读过这个***.com/questions/1918672/…

是的，我有。这里指的是大文件问题，这里不适用。该帖子还链接到我提到的补丁。 cygwin 配置似乎也有问题，我没有使用。

【参考方案1】：

使用 Cygwin 和 Git 2.1.1，我可以在我的 repo 上运行 git svn，而不会出现任何内存问题。我的测试程序也运行良好。我没有在 Cygwin 上尝试过 1.x 版本的 Git，但我想它们会起作用，因为问题是 msysperl 的内存限制，它被 Cygwin 取代。

我不会将此标记为答案，因为它不能解决我最初的问题。这是我目前使用 Git 进行测试的解决方法。

我想要一个带有正常工作 Perl 的 Git for Windows 发行版。升级 Perl here 时出现问题。然而，这似乎不是一件容易的事。 Windows 上 git svn 使用的 SVN 版本也是如此：Howto upgrade SVN