读取大型 Excel 工作表时的内存优化

Posted

技术标签:

【中文标题】读取大型 Excel 工作表时的内存优化【英文标题】:Optimization of Memory while reading a large excel sheet 【发布时间】:2018-03-31 22:30:33 【问题描述】:

我确实有一个 Excel 文件,我开发了一种读取表格 1 中所有内容并将其填充到列表视图中的方法,基本上表格在单元格 A-D 中有数据。但这个数字是120,000。当我运行代码时,它确实会读取这些文件,需要时间,但在此过程中,表单上的任何操作(如最小化或单击任意位置的表单)都会冻结程序并导致程序崩溃。我怎样才能像任何好的程序一样提高性能。下面是我的代码。

   private void button1_Click(object sender, EventArgs e)
    
        Microsoft.Office.Interop.Excel.Application ExcelObj = new 
        Microsoft.Office.Interop.Excel.Application();
        OpenFileDialog openFileDialog1 = new OpenFileDialog();
         // prepare open file dialog to only search for excel files (had 
        //  trouble setting this in design view)

         openFileDialog1.FileName = "*.xlsx";
         if (openFileDialog1.ShowDialog() == DialogResult.OK)
         
             // Here is the call to Open a Workbook in Excel 
            // It uses most of the default values (except for the read-only 
           // which we set to true)

                Workbook theWorkbook =   
                ExcelObj.Workbooks.Open(openFileDialog1.FileName, 0, true, 
                5,"", "", true,  XlPlatform.xlWindows, "\t", false, false, 
                0, true);


            // get the collection of sheets in the workbook

               Sheets sheets = theWorkbook.Worksheets;

            // get the first and only worksheet from the collection of 
           //  worksheets

            Worksheet worksheet = (Worksheet)sheets.get_Item(1);

            // loop through 10 rows of the spreadsheet and place each row in 
            // the list view

            for (int i = 1; i <= 10; i++)
            
                Range range = worksheet.get_Range("A" + i.ToString(), "J" + 
                i.ToString());
                System.Array myvalues = (System.Array)range.Cells.Value;
                string[] strArray = ConvertToStringArray(myvalues);
                listView1.Items.Add(new ListViewItem(strArray));
            
        

    


       string[] ConvertToStringArray(System.Array values)
           
        // create a new string array

        string[] theArray = new string[values.Length];

         // loop through the 2-D System.Array and populate the 1-D String 
        // Array

        for (int i = 1; i <= values.Length; i++)
        
            if (values.GetValue(1, i) == null)
                theArray[i - 1] = "";
            else
                theArray[i - 1] = (string)values.GetValue(1, i).ToString();
        
        return theArray;
    

【问题讨论】:

【参考方案1】: 我建议使用 OpenXML (https://github.com/OfficeDev/Open-XML-SDK),而不是互操作 并使用 BackgroundWorker 之类的东西在后台读取文件 (https://msdn.microsoft.com/en-us/library/system.componentmodel.backgroundworker(v=vs.110).aspx)

【讨论】:

以上是关于读取大型 Excel 工作表时的内存优化的主要内容,如果未能解决你的问题,请参考以下文章

优化Scala代码以读取不适合内存的大文件的有效方法

内存优化之掌握 APP 运行时的内存模型

Python:修改列表时的内存使用和优化

临时表(内存引擎)和大型物理表(1.7GB myisam)之间的连接优化

大型网站架构-性能优化

通过 Apache POI 读取大型 Excel 文件 (xlsx) 时出错