使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略
Posted
技术标签:
【中文标题】使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略【英文标题】:Best strategy for querying large MySQL table with Powershell and storing in a variable 【发布时间】:2014-07-07 03:09:08 【问题描述】:我正在尝试找出将 mysql 的结果集存储在 Powershell 变量中的最佳策略(针对内存消耗进行优化)。
我问的原因是因为我有一个半大表(3000 万行,4 列),它在磁盘上占用 2GB,但在存储在类型变量中时消耗 8GB 内存:[System.Collections.ArrayList ]
基本上,我正在这样做:
$devTable = sql_datareader -query $query
完成有点慢(10 分钟)......我可以忍受(有点)。但是,困扰我的是内存消耗。我知道我可以进行多个查询,遍历结果,然后清除数组。但是,理想情况下,我想避免多次查询。
有人对如何降低内存压力有任何想法吗?
谢谢!
【问题讨论】:
结束问题,因为没有办法实现目标并保持低内存消耗。 【参考方案1】:结束问题,因为没有办法实现目标并保持低内存消耗。
【讨论】:
以上是关于使用 Powershell 查询大型 MySQL 表并存储在变量中的最佳策略的主要内容,如果未能解决你的问题,请参考以下文章
使用 Powershell 将大型 CSV 批量导入 SQL Server