MysqlDump npm 显示 javascript heap out of memory。适用于小于 1 gb 的 Mysql 文件。任何人都知道如何解决这个问题？

Posted 2023-02-24

【中文标题】MysqlDump npm 显示 javascript heap out of memory。适用于小于 1 gb 的 Mysql 文件。任何人都知道如何解决这个问题？

【英文标题】：MysqlDump npm shows javascript heap out of memory.Works well for Mysql files less than 1 gb.anyone knows how to solve this issue?

【发布时间】：2018-11-29 03:17:33

【问题描述】：

      mysqlDump(
          host: hostname,
          port: portname,
          user: username,
          password: password,
          database: datbasename,
          dest: /directory,
        , function (err) 
    console.log(err)
    );

这是我的代码，适用于较小的 mysql 文件。

    
      "name": "projectname",
      "version": "0.0.0",
      "private": true,
      "scripts": 
        "start": "nodemon ./bin/www"
      ,
      "dependencies": 
        "body-parser": "~1.18.2",
        "compressing": "^1.2.3",
        "cookie-parser": "~1.4.3",
        "current-date": "^0.1.1",
        "debug": "~2.6.9",
        "express": "~4.15.5",
        "file-encryptor": "^0.1.1",
        "fs": "0.0.1-security",
        "fs-extra": "^5.0.0",
        "hbs": "~4.0.1",
        "monitor-dashboard": "^0.6.7",
        "morgan": "~1.9.0",
        "mysqldump": "^1.4.2",
        "nodemon": "^1.17.2",
        "pm2": "^2.10.2",
        "promise": "^8.0.1",
        "reload": "^2.2.2",
        "request": "^2.85.0",
        "serve-favicon": "~2.4.5"
      ,
      "config": 
        "days_interval": 7,
        "max_size": 5242880
      
    

上面给出的是我的 package.json 文件，所以如果有任何版本问题。

这是弹出的错误。

> [5121:0x3e52ce0]   160788 ms: Mark-sweep 1468.6 (1526.4) -> 1468.4
> (1526.9) MB, 1413.3 / 0.0 ms  allocation failure GC in old space
> requested [5121:0x3e52ce0]   162286 ms: Mark-sweep 1468.4 (1526.9) ->
> 1468.3 (1495.4) MB, 1497.1 / 0.0 ms  last resort GC in old space requested [5121:0x3e52ce0]   163725 ms: Mark-sweep 1468.3 (1495.4) ->
> 1468.3 (1495.4) MB, 1439.7 / 0.0 ms  last resort GC in old space requested

========== JS 堆栈跟踪 ================================== =======

> Security context: 0x3f1c76625529 <JSObject>
>     1: /* anonymous */ [/home/rajesh/vishnu works/dump2/node_modules/mysql/lib/protocol/Protocol.js:~231]
> [pc=0x37a5a37e1095](this=0x35b8ca03d6a1 <Protocol map =
> 0x366e60ff7e71>)
>     2: arguments adaptor frame: 1->0
>     3: write [/home/rajesh/vishnu works/dump2/node_modules/mysql/lib/protocol/Parser.js:~27]
> [pc=0x37a5a37f62c7](this=0x35b8ca03d5e1 <Parser map =
> 0x366e60fecc61>,chunk=0x39cd489b725...
> 
> FATAL ERROR: CALL_AND_RETRY_LAST Allocation failed - javascript heap
> out of memory  1: node::Abort() [/usr/local/bin/node]  2: 0x8cea7c
> [/usr/local/bin/node]  3: v8::Utils::ReportOOMFailure(char const*,
> bool) [/usr/local/bin/node]  4:
> v8::internal::V8::FatalProcessOutOfMemory(char const*, bool)
> [/usr/local/bin/node]  5:
> v8::internal::Factory::NewUninitializedFixedArray(int)
> [/usr/local/bin/node]  6: 0xd88283 [/usr/local/bin/node]  7:
> v8::internal::Runtime_GrowArrayElements(int, v8::internal::Object**,
> v8::internal::Isolate*) [/usr/local/bin/node]  8: 0x37a5a36042fd

现在我可以处理小文件，但大文件显示此错误。 当我将 RAM 增加到更高的值时，此错误发生 和类似的错误告诉限制超过最大值 线路出现了。任何人都可以帮助我。我真的被这个卡住了。

【参考方案1】：

mysqldump NPM 模块存在致命缺陷，永远无法用于大型数据库。 It constructs the database dump completely in memory, as a string, before writing any data to a file。如果这比内存大，它不可避免地会崩溃。解决这个问题需要对模块进行重大重写，因为它做出了一个非常基本的假设，即转储可以存储在内存中。

（它还假设它应该并行转储所有表，并且应该通过为每个表运行一个 SELECT * FROM table 查询来做到这一点。这些假设都不成立。）

不要使用这个模块。如果您需要备份数据库，请使用mysqldump 命令行工具或其他备份工具，如mydumper 或Percona XtraBackup。这些工具都是为处理大型数据库而设计的，不受mysqldump NPM 模块的限制。