JAVA Apache POI 之sax 解析10万级大数量数据

Posted

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了JAVA Apache POI 之sax 解析10万级大数量数据相关的知识，希望对你有一定的参考价值。

第一步让我们来看看我们的大量数据的excel 文件

技术图片

技术图片

好的下面第二步看一下代码：

  1. package com.chinait.utils;  
  2.   
  3. /**
  4.  * 写这个东西主要是最近做了一个联通的数据迁移工作，他们就是这样导出的数据，所以我们写了这个代码。
  5.  * 还有一个就是网上n 多都是半成品，代码不能直接运行，我这个代码能够直接运行。
  6.  * java poi 之sax 解析10万级大数量数据，其实百万，千万都是可以的，
  7.  * 但是想到这么大的数据一般不会使用excel 进行导入数据的行为，所以我采用了这个方法只是针对于10万级数据，
  8.  * 宁外,虚拟机的堆内存需要设置大一些，不然会报内存溢出。
  9.  * 支持多个sheet 数据一起导入
  10.  * 支持按照数据量范围取值
  11.  */
  12.   
  13. import java.io.InputStream;  
  14. import java.util.ArrayList;
  15. import java.util.Iterator;
  16. import java.util.LinkedHashMap;
  17. import java.util.List;
  18. import java.util.Map;
  19. import java.util.Map.Entry;
  20. import java.util.regex.Pattern;  
  21.   
  22. import org.apache.commons.lang.StringUtils;  
  23. import org.apache.poi.openxml4j.opc.OPCPackage;  
  24. import org.apache.poi.xssf.eventusermodel.XSSFReader;  
  25. import org.apache.poi.xssf.model.SharedStringsTable;  
  26. import org.apache.poi.xssf.usermodel.XSSFRichTextString;  
  27. import org.xml.sax.Attributes;  
  28. import org.xml.sax.ContentHandler;  
  29. import org.xml.sax.InputSource;  
  30. import org.xml.sax.SAXException;  
  31. import org.xml.sax.XMLReader;  
  32. import org.xml.sax.helpers.DefaultHandler;  
  33. import org.xml.sax.helpers.XMLReaderFactory;  
  34.   
  35. public class MyExcel2007ForPaging_high {  
  36.         private static List<Map<String,String>> dataListT;
  37.         private final int startRow;  
  38.         private final int endRow;  
  39.         private int currentRow = 0;  
  40.         private final String filename;  
  41.         private static Map<String,String> map;
  42.         static char[] strChar ;  
  43.         /**
  44.          * 构造方法
  45.          */
  46.         public MyExcel2007ForPaging_high(String filename,int startRow,int endRow) throws Exception{
  47.            dataListT = new ArrayList<>();
  48.             if(StringUtils.isEmpty(filename)) throw new Exception("文件名不能空");  
  49.             this.filename = filename;  
  50.             this.startRow = startRow;  
  51.             this.endRow = endRow+1;  
  52.             processSheet();  
  53.         }  
  54.         /** 
  55.          * 指定获取第一个sheet 
  56.          * @param filename 
  57.          * @throws Exception 
  58.          */  
  59.         private void processSheet() throws Exception {  
  60.             OPCPackage pkg = OPCPackage.open(filename);  
  61.             XSSFReader r = new XSSFReader( pkg );  
  62.             SharedStringsTable sst = r.getSharedStringsTable();  
  63.             XMLReader parser = fetchSheetParser(sst);   
  64.             Iterator<InputStream> it = r.getSheetsData();
  65.             while(it.hasNext()){
  66.                map = null;
  67.                InputStream sheet1 = it.next();  
  68.                  InputSource sheetSource = new InputSource(sheet1);  
  69.                  parser.parse(sheetSource);  
  70.                  sheet1.close();  
  71.             }
  72.         }  
  73.         /**
  74.          * 加载sax 解析器
  75.          * @param sst
  76.          * @return
  77.          * @throws SAXException
  78.          */
  79.         private XMLReader fetchSheetParser(SharedStringsTable sst) throws SAXException {  
  80.             XMLReader parser =  
  81.                 XMLReaderFactory.createXMLReader(  
  82.                         "org.apache.xerces.parsers.SAXParser"  
  83.                 );  
  84.             ContentHandler handler = new PagingHandler(sst);  
  85.             parser.setContentHandler(handler);  
  86.             return parser;  
  87.         }  
  88.   
  89.         /**  
  90.          * See org.xml.sax.helpers.DefaultHandler javadocs  
  91.          */  
  92.         private  class PagingHandler extends DefaultHandler {  
  93.             private SharedStringsTable sst;  
  94.             private String lastContents;  
  95.             private boolean nextIsString;  
  96.             private String index = null;  
  97.             private PagingHandler(SharedStringsTable sst) {  
  98.                 this.sst = sst;  
  99.             }
  100.             /**
  101.              * 开始元素 （获取key 值）
  102.              */
  103.             @Override  
  104.             public void startElement(String uri, String localName, String name,  
  105.                     Attributes attributes) throws SAXException {  
  106.                 if(name.equals("c")) {
  107.                     index = attributes.getValue("r");
  108.                     //判断是否是新的一行
  109.                     if(Pattern.compile("^A[0-9]+$").matcher(index).find()){  
  110.                         if(map!=null&&isAccess()&&!map.isEmpty()){  
  111.                          dataListT.add(map);
  112.                         }
  113.                         map = new LinkedHashMap<>();
  114.                         currentRow++; 
  115.                     }  
  116.                     if(isAccess()){  
  117.                         String cellType = attributes.getValue("t");  
  118.                         if(cellType != null && cellType.equals("s")) {  
  119.                             nextIsString = true;  
  120.                         } else {  
  121.                             nextIsString = false;  
  122.                         }  
  123.                     }  
  124.                 }  
  125.                 lastContents = "";  
  126.             }  
  127.             /**
  128.              * 获取value 
  129.              */
  130.             @Override  
  131.             public void endElement(String uri, String localName, String name)  
  132.                     throws SAXException {  
  133.                 if(isAccess()){  
  134.                     if(nextIsString) {  
  135.                         int idx = Integer.parseInt(lastContents);  
  136.                         lastContents = new XSSFRichTextString(sst.getEntryAt(idx)).toString();  
  137.                         nextIsString = false;  
  138.                     }  
  139.                     if(name.equals("v")) {  
  140.                         map.put(index, lastContents);
  141.                     }  
  142.                 }  
  143.                   
  144.             }  
  145.             @Override  
  146.             public void characters(char[] ch, int start, int length)  
  147.                     throws SAXException {  
  148.                 if(isAccess()){  
  149.                     lastContents += new String(ch, start, length);  
  150.                 }  
  151.             }  
  152.             @Override  
  153.             public void endDocument ()throws SAXException{  
  154.                 if(map!=null&&isAccess()&&!map.isEmpty()){
  155.                  dataListT.add(map);
  156.                 }  
  157.             }  
  158.           
  159.         }  
  160.         private boolean isAccess(){  
  161.             if(currentRow>=startRow¤tRow<=endRow){  
  162.                 return true;  
  163.             }  
  164.             return false;  
  165.         }
  166.         /**
  167.          * 获取数据 并且填补字段值为空的数据
  168.          * @return
  169.          * @throws Exception
  170.          */
  171.         public List<Map<String,String>> getMyDataList() throws Exception{
  172.             List<Map<String,String>> list = dataListT.subList(startRow, dataListT.size());
  173.          if(!list.isEmpty()){
  174.              Map<String,String> map = dataListT.get(0);
  175.               List<String> com = data("A",map.size()-1);
  176.              for(int i=0;i<list.size();i++){
  177.                     Map<String,String> returnMap = list.get(i);
  178.                   for(String str:com){
  179.                      boolean flag = true;
  180.                        for(Entry<String,String> entry:returnMap.entrySet()){
  181.                           if(entry.getKey().contains(str)){
  182.                                 //有
  183.                               flag = false;
  184.                                 break;
  185.                            }
  186.                       }
  187.                       if(flag){
  188.                             //没有
  189.                          returnMap.put(str+(i+2), null);
  190.                      }
  191.                   }
  192.               }
  193.           }
  194.             return list;  
  195.         }  
  196.        
  197.         public static void main(String[] args) throws Exception {
  198.            MyExcel2007ForPaging_high reader = new MyExcel2007ForPaging_high("D://20000.xlsx",1,30000);  
  199.             reader.getMyDataList();
  200.         }
  201.         /**
  202.          * 封装数据
  203.          * @param str
  204.          * @param counts
  205.          * @return
  206.          */
  207.         public static List<String> data(String str,int counts){
  208.             List<String> list = new ArrayList<>();
  209.            list.add(str);
  210.             for(int i=0;i<counts;i++){  
  211.                 strChar = str.toCharArray();  
  212.                 jinwei(0);  
  213.                 str = new String(strChar);  
  214.                 list.add(str);
  215.             }
  216.             return list;
  217.         }
  218.         //数字进位
  219.         public static void jinwei(int index){
  220.            char a = ‘A‘;
  221.            int aint =(int)(‘A‘);
  222.          if((strChar.length-1)-index>=0){
  223.                 int sc = (int)strChar[(strChar.length-1)-index];
  224.               if(sc- 25 >= aint){
  225.                   jinwei(index+1);
  226.                   strChar[(strChar.length-1)-index] = a;
  227.                 }else{
  228.                    strChar[strChar.length-1-index] = (char)(sc+1);
  229.                 }
  230.           }else{
  231.                strChar[(strChar.length-1)-index+1] = a;
  232.              StringBuilder str = new StringBuilder();
  233.              str.append(‘A‘);
  234.               str.append(strChar);
  235.                strChar = str.toString().toCharArray();
  236.             }
  237.         }  
  238. }
这是输出结果：

技术图片

 写这个东西主要是最近做了一个联通的数据迁移工作，他们就是这样导出的数据，所以我们写了这个代码。

还有一个就是网上n 多都是半成品，代码不能直接运行，我这个代码能够直接运行。
java poi 之sax 解析10万级大数量数据，其实百万，千万都是可以的。
但是想到这么大的数据一般不会使用excel 进行导入数据的行为，所以我采用了这个方法只是针对于10万级数据。
宁外,虚拟机的堆内存需要设置大一些，不然会报内存溢出。
支持多个sheet 数据一起导入。
支持按照数据量范围取值。

支持原创，支持代码能运行的原创，谢谢！~

原文地址：https://blog.csdn.net/sai739295732/article/details/68489403

以上是关于JAVA Apache POI 之sax 解析10万级大数量数据的主要内容，如果未能解决你的问题，请参考以下文章

使用POI解析Excel时，出现org.xml.sax.SAXParseException: duplicate attribute 'o:relid'的解决办法

POI以SAX方式解析Excel2007大文件(包含空单元格的处理) Java生成CSV文件实例详解

Java解析Excel之POI

JAVA之DOM和SAX解析器

java解析XML① 之DOM解析和SAX解析（包含CDATA的问题）

Java 解析 Excel 工具 easyexcel