Java中excel文件解析总结以及超大文件读写的分析报告

Posted 2022-07-15 卡多希y

        在系统与系统之间进行数据传递时，经常需要使用Excel文件来进行数据的导入或者导出。因此，在Java语言实现这类需求时，往往会面临着数据的导入(解析)或者导出(生成)。Java中可以用来处理Excel文件的主流技术主要包括Apache  POI、JXL、Alibaba的easyExcel等。

       APache POI 是用Java编写的免费开源的Java API ，Apache POI 提供对Microsoft Office格式进行读写功能的API。 POI是基于DOM方式进行解析的，它将文件数据一次性全部加载到内存中，速度会较快，一般比较适合数据量较小的应用场景。JXL技术只支持EXcel 2003以下的版本，现在基本用不到。

        Alibaba的easyExcel采用逐行读取的解析方式，将每一行的解析结果以观察者的模式通知处理，在并发量很大的情况下，依然能稳定运行。

       对于POI解析Excel文件，我们主要使用Workbook接口，Workbook接口代表一个Excel文件，它用于创建或者解析Excel文件，常见实现类有XSSFWorkbook、SXSSFWorkbook(读取大数据量文件)等。

1、创建Excel文件

public class Demo03 
	public static void main(String[] args) 
            // 创建Excel文件对象
		try (Workbook workbook = new XSSFWorkbook();
            // 创建FileOutputStream输出流对象
				FileOutputStream out = new FileOutputStream("C:\\\\user\\\\test.xlsx")) 
               // 通过输出流进行写入
			workbook.write(out);
		 catch (IOException e) 
			// TODO Auto-generated catch block
			e.printStackTrace();
		
	

2、读取Excel文件

// 创建输入流对象
		try (FileInputStream fis = new FileInputStream("C:\\\\user\\\\test.xlsx");
				// 创建Excel文件对象并将输入流传给文件对象
				Workbook workbook = new XSSFWorkbook(fis)) 
		 catch (IOException e) 
			// TODO Auto-generated catch block
			e.printStackTrace();
		

3、创建工作簿对象(Sheet 对象)

// 按照默认名字创建
Sheet sheet1 = workbook.createSheet()

// 按照自定义名字创建
Sheet sheet2 = workbook.createSheet("工作表");

4、获取Sheet对象

// 根据工作簿下标获取工作簿
Sheet sheet1 = workbook.getSheetAt(0);

// 根据工作簿名称获取工作簿
Sheet sheet2 = workbook.getSheet("工作表");

5、获取工作簿数量

int n = workbook.getNumberOfSheets();

6、获取数据行

// 创建数据行
Row row = sheet.createRow(0));

// 获取首行下标
int start = sheet.getFirstRowNum();

// 获取尾行下标
int end = sheet.getLastRowNum();

// 根据下标获取指定行
Row row = sheet.getRow(0);

// 遍历所有行
for (Row row : sheet)
    System.out.println(row);


// 遍历指定区域(根据i 控制)
for (int i = 0; i < sheet.getLastRowNum)
    Row row = sheet.getRow(i);
    System.out.println(row);

7、Cell单元格对象方法

// 创建单元格
Cell cell = row.createCell(0);

// 设置单元格
cell.setCellValue(UUID.randomUUID().toString());

// 根据下标获取单元格
Cell cell = row.getCell(1);

// 遍历所有单元格
for(Cell cell : row) 
				


// 获取单元格类型
CellType type = cell.getCellType();

// 设置单元格样式
    // 创建单元格样式
DataFormat dataFormat = workbook.createDataFormat();
short formatCode = dataFormat.getFormat("yyyy-MM-dd HH:mm:ss");
CellStyle cellStyle = workbook.createCellStyle();
cellStyle.setDataFormat(formatCode);
    // 对当前行设置单元格样式
cell.setCellStyle(cellStyle);
cell.setCellValue(new Date());


// 设置单元格对齐
    // 创建单元格样式
CellStyle cellStyle = workbook.createCellStyle();

    //设置单元格的水平对齐类型。 此时水平居中
cellStyle.setAlignment(HorizontalAlignment.CENTER);

    // 设置单元格的垂直对齐类型。 此时垂直靠底边
cellStyle.setVerticalAlignment(VerticalAlignment.BOTTOM);

-------------------------------------------------------------------------------------------------------------------------

超大文件的读写分析(以写入为例)：

Apache POI技术中Workbook的实现类SXSSFWorkbook VS  Alibaba的easyExcel

SXSSFWorkbook：

使用SXSSFWorkbook进行写入，通过设置SXSSFWorkbook的构造参数，可以设置每次往内存中保持的行数，每当达到这个数字时，就会将内存中的数据flush到硬盘中，从而不会使内存出现溢出的情况。

下面是通过SXSSFWorkbook写入100w条数据源码：

package com.apesource;

import java.io.FileOutputStream;
import java.io.IOException;
import java.io.OutputStream;
import java.text.SimpleDateFormat;
import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.Date;
import java.util.UUID;

import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.CellStyle;
import org.apache.poi.ss.usermodel.DataFormat;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;


public class Demo10 
	public static void main(String[] args) 
		// 大数据量的写入
		try (Workbook workbook = new SXSSFWorkbook(100);
				OutputStream out = new FileOutputStream("D:\\\\IOTest\\\\test100W.xlsx")) 
			
			// 记录程序开始执行的时间
			long startTime = System.currentTimeMillis();
			
			// 创建一个工作簿
			Sheet sheet = workbook.createSheet();
			
			// 创建数据格式对象
			DataFormat dataFormat = workbook.createDataFormat();
			short dataCode = dataFormat.getFormat("yyyy年MM月dd日 HH:mm:ss");
			// 创建日期格式对象
			CellStyle dateCellStyle = workbook.createCellStyle();
			dateCellStyle.setDataFormat(dataCode);
			
			// 创建金额格式对象
			CellStyle moneyCellStyle = workbook.createCellStyle();
			moneyCellStyle.setDataFormat(dataFormat.getFormat("￥#,###"));
			
			// 创建列头数据
			Row row = sheet.createRow(0);
			Cell cell0 = row.createCell(0);
			cell0.setCellValue("订单编号");
			Cell cell1 = row.createCell(1);
			cell1.setCellValue("支付金额");
			Cell cell2 = row.createCell(2);
			cell2.setCellValue("创建日期");
			
			
			
			// 创建数据行并输入数据
			for (int i = 1; i < 1000000; i++) 
				Row dataRow = sheet.createRow(i);
				
				// 序号
				Cell dataCell1 = dataRow.createCell(0);
				String num = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))
						+ UUID.randomUUID().toString().substring(0, 5);
				dataCell1.setCellValue(num);
				
				// 支付金额
				Cell dataCell2 = dataRow.createCell(1);
				dataCell2.setCellStyle(moneyCellStyle);
				dataCell2.setCellValue((Math.random()*10000));
				
				// 创建日期
				Cell dataCell3 = dataRow.createCell(2);
				dataCell3.setCellStyle(dateCellStyle);
				dataCell3.setCellValue(new Date());
			
			
			// 通过输出流向Excel文件中写入数据
			workbook.write(out);
			
			// 记录程序执行结束后的时间
			long endTime = System.currentTimeMillis();
			
			System.out.println("SXSSFWorkbook方式写入100万条数据所需时间为：" + (endTime - startTime) + "毫秒");
			
		 catch (IOException e) 
			// TODO Auto-generated catch block
			e.printStackTrace();
		

	

执行结束后可以看到SXSSFWorkbook执行时间为：

 

使用easyExcel前需要做一些准备：Alibaba easyExcel的相关jar包、实体类、Converter转换类(兼容LocalDateTime时间类)，

首先，我们创建一个实体类UserEntity，其中@Excel注解表示导出文件的头部信息。

实体类：

package com.apesource.entity;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;
import java.util.UUID;

import com.alibaba.excel.annotation.ExcelProperty;
import com.alibaba.excel.annotation.format.NumberFormat;
import com.apesource.LocalDateTimeConverter;

public class Order 
    @ExcelProperty("订单编号")
	private String orderId; // 订单编号
	
    @ExcelProperty("支付金额")
	@NumberFormat("￥#,###")
	private Double payment; // 支付金额
	
    @ExcelProperty(value = "创建日期",converter = LocalDateTimeConverter.class)
	private LocalDateTime creationTime; // 创建时间

	public Order() 
		this.orderId = LocalDateTime.now().format(DateTimeFormatter.ofPattern("yyyyMMddhhmmss"))
				+ UUID.randomUUID().toString().substring(0, 5);
		this.payment = Math.random() * 10000;
		this.creationTime = LocalDateTime.now();
	

	public String getOrderId() 
		return orderId;
	

	public void setOrderId(String orderId) 
		this.orderId = orderId;
	

	public Double getPayment() 
		return payment;
	

	public void setPayment(Double payment) 
		this.payment = payment;
	

	public LocalDateTime getCreationTime() 
		return creationTime;
	

	public void setCreationTime(LocalDateTime creationTime) 
		this.creationTime = creationTime;
	



	@Override
	public String toString() 
		return "Order [orderId=" + orderId + ", payment=" + payment + ", creationTime=" + creationTime + "]";
	

接着，我们来编写导出服务

package com.apesource;

import java.util.ArrayList;
import java.util.List;

import com.alibaba.excel.EasyExcel;
import com.apesource.entity.Order;

public class Demo01 
	public static void main(String[] args) 
		// 程序开始执行的时间
		long startTime = System.currentTimeMillis();
		
        // 写入100w
        EasyExcel.write("D:\\\\IOTest\\\\easy100W.xlsx", Order.class)
                 .sheet("订单列表")
                 .doWrite(data());
        long endTime = System.currentTimeMillis();
        
        System.out.println("easyExcel方式写入100万条数据所需时间为：" + (endTime - startTime) + "毫秒");
    
    
    // 创建100w条订单数据
    private static List<Order> data() 
        List<Order> list = new ArrayList<Order>();
        for (int i = 0; i < 1000000; i++) 
            list.add(new Order());
        
        return list;
    

转换类：

package com.apesource;

import java.time.LocalDateTime;
import java.time.format.DateTimeFormatter;

import com.alibaba.excel.converters.Converter;
import com.alibaba.excel.enums.CellDataTypeEnum;
import com.alibaba.excel.metadata.CellData;
import com.alibaba.excel.metadata.GlobalConfiguration;
import com.alibaba.excel.metadata.property.ExcelContentProperty;

public class LocalDateTimeConverter implements Converter<LocalDateTime> 

	@Override
	public Class<LocalDateTime> supportJavaTypeKey() 
		return LocalDateTime.class;
	

	@Override
	public CellDataTypeEnum supportExcelTypeKey() 
		return CellDataTypeEnum.STRING;
	

	@Override
	public LocalDateTime convertToJavaData(CellData cellData, ExcelContentProperty contentProperty,
			GlobalConfiguration globalConfiguration) 
		return LocalDateTime.parse(cellData.getStringValue(), DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss"));
	

	@Override
	public CellData<String> convertToExcelData(LocalDateTime value, ExcelContentProperty contentProperty,
			GlobalConfiguration globalConfiguration) 
		return new CellData<>(value.format(DateTimeFormatter.ofPattern("yyyy-MM-dd HH:mm:ss")));
	

最终结果为：

 

总结：

虽然两者读取大数据量在时间上所差无几，但是easyExcel的主要特点就是将更多重复的工作，全部简单化，避免编写重复的代码。easyExcel最大的亮点就是基于注解实体类来导出、导入excel，使用起来非常简单。

easyExcel基于sax(逐行扫描，边扫描，边解析)模式进行读写数据，不会出现oom情况，程序有过高并发场景的验证，因此程序运行比较稳定，相对于 SXSSFWorkbook来说，读写性能稍慢！

SXSSFWorkbook与 easyExcel还有一点区别在于，SXSSFWorkbook对定制化的导出支持非常的丰富，如果当前的项目需求，并发量不大、数据量也不大，但是需要导出 excel 的文件样式千差万别，那么我推荐你用 SXSSFWorkbook。反之，使用 easyExcel。