Git拉致命：内存不足，malloc失败了

Posted 2021-05-07

我在https://bitbucket.org/上有一个回购

几天前由于一个错误，大量的图像文件被推入了回购。然后通过另一个推送删除文件。在那个回购工作正常之后，但是今天当我试图从回购中撤出时：

$ git pull
Password for 'https://[e-mail]': 
warning: no common commits
remote: Counting objects: 4635, done.
remote: Compressing objects: 100% (1710/1710), done.
fatal: Out of memory, malloc failed (tried to allocate 4266852665 bytes)
fatal: index-pack failed  

我试过了： 1）git config --global pack.windowMemory 1024m 2）

$ git count-objects -v
count: 9
size: 48
in-pack: 4504
packs: 1
size-pack: 106822
prune-packable: 0
garbage: 0

那里没有运气，不知道我接下来应采取什么行动...... 回购的大小应该是大约10-20米的代码。接下来我应该采取什么行动？

更新1 我执行了这些命令：

$ git filter-branch --index-filter 'git rm --cached --ignore-unmatch public/images/*' HEAD
Rewrite a1c9fb8324a2d261aa745fc176ce2846d7a2bfd7 (288/288)
WARNING: Ref 'refs/heads/master' is unchanged

和

$ git push --force --all
Counting objects: 4513, done.
Compressing objects: 100% (1614/1614), done.
Writing objects: 100% (4513/4513), 104.20 MiB | 451 KiB/s, done.
Total 4513 (delta 2678), reused 4500 (delta 2671)
remote: bb/acl: ayermolenko is allowed. accepted payload.
To https://[e-mail]/repo.git
 + 203e824...ed003ce demo -> demo (forced update)
 + d59fd1b...a1c9fb8 master -> master (forced update)

拉然后工作正常：

$ git pull
Already up-to-date.

但是当我尝试克隆回购时，我得到了

~/www/clone$ git clone [e-mail]:repo.git
Cloning into 'clone'...
remote: Counting objects: 5319, done.
remote: Compressing objects: 100% (1971/1971), done.
fatal: Out of memory, malloc failed (tried to allocate 4266852665 bytes)
fatal: index-pack failed

更新2 可悲的是，我没有找到所有的大文件。有些人还在离开。所以我要求支持杀死回购的所有日志

更新3 最后，我不得不杀死旧的并创造新的回购。

答案

如果您是唯一使用此repo的人，可以按照“How to purge a huge file from commits history in Git?”中描述的git filter-branch选项进行操作

更简单的选择是将repo克隆到旧提交，并强制推送它，如“git-filter-branch to delete large file”中所述。

任何一方都会强迫任何合作者将他/她自己的本地回购重置为您要发布的新州。同样，如果您是唯一的合作者，那不是问题。

另一答案

在我的情况下，这是一个简单的事情，试图在没有交换的1GB RAM盒中拉大回购。

我按照本教程https://www.digitalocean.com/community/tutorials/how-to-add-swap-on-ubuntu-14-04在服务器上创建了一些交换空间并且工作正常。

他们的“更快”方式：

sudo fallocate -l 4G /swapfile
sudo chmod 600 /swapfile
sudo mkswap /swapfile
sudo swapon /swapfile

您可以通过添加到/ etc / fstab使这些更改永久化：

/swapfile   none    swap    sw    0   0

他们建议添加到/etc/sysctl.conf：

vm.swappiness=10
vm.vfs_cache_pressure = 50

另一答案

即使大图像文件在被推送后被删除，它们也会留在git历史中。

我建议强行将它们从git历史中删除（我认为这是可能的，但它涉及一个我不知道的微妙程序）。

或者，在错误添加的文件之前拉出存储库，修补存储库以生成相关的小补丁，克隆它，并使用它（可能使用转储/恢复）作为主git。

我不太清楚细节，但我确实读过它可能

另一答案

我最近在我的一个存储库中遇到了这个问题。类似的错误，暗示隐藏在repo某处的大文件。

Cloning into 'test_framework'...
remote: Counting objects: 11889, done.
remote: Compressing objects: 100% (5991/5991), done.
Receiving objects:  66% (7847/11889), 3.22 MiB | 43 KiB/sremote: fatal: Out of memory, malloc failed     (tried to allocate 893191377 bytes)
remote: aborting due to possible repository corruption on the remote side.
fatal: early EOFs:  66% (7933/11889), 3.24 MiB
fatal: index-pack failed

为了解决这个问题，我在这里按照方法2暂时创建了一个大型交换驱动器（超过服务器要求的893191377字节）：http://www.thegeekstuff.com/2010/08/how-to-add-swap-space/

这让我成功克隆然后删除了罪魁祸首（有人检查了sql dumpfile）。您可以使用：

git filter-branch --tree-filter 'rm -rf dumpfile.sql' HEAD

从git仓库中删除文件。