开源项目-CSV导入导出工具类

Posted IT学习日记

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了开源项目-CSV导入导出工具类相关的知识,希望对你有一定的参考价值。



  • 💂 个人网站: IT知识小屋
  • 🤟 版权: 本文由【IT学习日记】原创、在CSDN首发、需要转载请联系博主
  • 💬 如果文章对你有帮助、欢迎关注、点赞、收藏(一键三连)和订阅专栏哦

文章目录


前言

  又是一年虐狗日,身为一名经验丰富的单身狗,虽然不能给读者分配"女朋友",但是也希望给大家费分享一些能够提高效率的轮子,帮助大家抽出更多时间摸鱼。

  上一次通过文章跟读者分享了自己写的轮子《摸鱼轮子》,读者的反馈还不错。趁热打铁,赶紧推出的摸鱼轮子第二版-CSV轮子,希望能够帮助更多人节省开发时间,提高摸鱼效率。

  本篇文章会对《轮子之王》开源项目中集成的轮子进行详解介绍,从功能集成从技术选项再到技术实现,帮助大家更好理解轮子是否适用于自己的业务。


项目地址

  Gitee地址: https://gitee.com/it-learning-diary/it-wheels-king

  Github地址: https://github.com/it-learning-diary/it-wheels-king


CSV轮子

  CSV(Comma Separated Values)逗号分隔值,也可以称为字符分隔符,因为分隔字符也可以不是逗号,以纯文本方式存储表格数据(数字和文本)。

  与excel等文件相比,excel文件中会包含许多格式信息,占用的空间会更大,CSV是以纯文本的方式存储,故体积会更小,适合存放结构化的信息,如数据导出、流量统计等。


集成目的

  在日常的开发工作中,导入导出是非常常见的业务,通常来讲,CSV以纯文本方式存储数据,占用的存储空间比excel更少,同时在window环境下默认是使用excel方式打开CSV文件的,因为它本质上是一个文本文件,因此CSV文件的导入导出功能非常常用,故特意在轮子之王项目中集成CSV轮子。


技术架构选择

  JAVA语言中,操作CSV文件相关的框架比较多,常见的有以下几种:

一、Javacsv

  官方地址: https://sourceforge.net/projects/javacsv/

  简介: 它是一个小型的快速开源java库,用于读取和写入CSV和普通分隔文本文件。所有类型的CSV文件都可以处理,txt,Excel格式化,等等。

  特点: 轻量,且快速,但是已经停止维护许久了,不推荐使用

二、Opencsv

  官方地址: http://opencsv.sourceforge.net/#quick_start

  简介: JAVA中易于使用的CSV解析依赖库,设计出来的目的是因为当时CSV解析器没有商业友好的许可证,最低支持JAVA8。

  特点: 该项目已被Apache基金会收录,可以免费用于商业应用程序中,有较全的官网文档和Apache基金会进行维护,但是最低支持的JAVA版本为8,对一些使用低版本的用户不是很友好。

三、Apache-common-csv

  官方地址: https://commons.apache.org/proper/commons-csv/

  简介: 创建目的是为了在ASL许可证下构架一个通用的、简单的读取和写入CSV的接口,作者希望通过common-csv替换掉之前与csv相关的一些框架如opencsv、skife csv等。

  特点: 被Apache收录,持续维护更新,有较全的官方文档。

四、Univocity-parsers(推荐使用)

  官方地址: https://www.univocity.com/pages/univocity_parsers_tutorial

  简介: JAVA语言编写,号称你能发现的最快的关于CSV文件的JAVA解析器,同时支持固定宽度格式文件和TSV文件,开源、已经被Apache收录了

  特点: 支持CSV、TSV、固定宽度格式文件解析,有完整的官方文档、被Apache收录,持续在更新迭代。


  经过对常用的CSV操作框架对比,考虑到性能、后续拓展性、以及官方文档完整性等方面因素,最终决定使用:Univocity-parser来处理CSV文件。


源码解析

  理论千遍不如实践一遍,下面一起来看看封装的CSV轮子源码吧!

CSV导入轮子

  部分源码如下,详细源请到文章末尾领取:

/**
     *
     * @param inputStream
     * @param errorList
     * @param rowDto
     * @param rowAction
     * @param <T>
     */
    public static <T extends Object> void importCsvWithString(InputStream inputStream, List<String> errorList, Class rowDto, ThrowingConsumer<List<String[]>> rowAction) 
        // 定义bean解析者:用于将csv中数据绑定到实体属性中,然后存储带list集合上
        RowListProcessor rowListProcessor = new RowListProcessor();
        CsvParserSettings setting = getDefaultSetting(errorList);
        setting.setProcessor(rowListProcessor);
        // 创建csv文件解析
        CsvParser csvParser = new CsvParser(setting);
        csvParser.parse(inputStream);
        // 获取数据映射后的集合
        List<String[]> rowDataList = rowListProcessor.getRows();
        // 执行数据持久化
        persistentStringDataToDb(rowDataList, rowAction);
    

    /**
     * 将数据持久化到数据库中
     * 具体数据落库的业务逻辑方法:此处的逻辑是将数据从csv中读取出来后,然后进行自己的业务处理,最后进行落库操作
     * 不懂的可以参考:UserServiceImpl下的uploadUserListWithCsv方法案例
     *
     * @param data
     * @param persistentActionMethod
     */
    private static <T> void persistentStringDataToDb(List<String[]> data, ThrowingConsumer<List<String[]>> persistentActionMethod) 
        // 对数据分组,批量插入
        List<List<String[]>> dataList = ListUtil.split(data, ImportConstant.MAX_INSERT_COUNT);
        dataList.stream().forEach(persistentActionMethod);
    

CSV导出轮子

  部分源码如下,详细源请到文章末尾领取:


 /**
     * 导出csv文件(表头和数据都以字符串的形式)
     *
     * @param response
     * @param head
     * @param rowDataList
     */
    public static <T> void exportCsvWithString(HttpServletResponse response, String fileName, List<T> head, List<List<T>> rowDataList) 
        CsvWriter writer = null;
        try 
            response.setContentType(ExportConstant.EXCEL_CONTENT_TYPE);
            response.setCharacterEncoding(ExportConstant.UTF_8);
            response.setHeader(ExportConstant.CONTENT_DISPOSITION, ExportConstant.ATTACHMENT_FILENAME + fileName + ExportConstant.CSV_SUFFIX);
            CsvWriterSettings setting = getDefaultWriteSetting();
            writer = new CsvWriter(response.getOutputStream(), setting);
            writer.writeHeaders(head);
            writer.writeStringRows(rowDataList);
            writer.flush();
         catch (Exception e) 
            log.error("CsvExportUtil exportCsv in error:", e);
         finally 
            if (Objects.nonNull(writer)) 
                writer.close();
            
        
    

    /**
     * 导出csv文件(表头和行都以实体的方式)
     *
     * @param response
     * @param head
     * @param rowDataList
     */
    public static <T> void exportCsvWithBean(HttpServletResponse response, String fileName, T head, List<T> rowDataList) 
        CsvWriter writer = null;
        try 
            // 设置响应头格式
            response.setContentType(ExportConstant.EXCEL_CONTENT_TYPE);
            response.setCharacterEncoding(ExportConstant.UTF_8);
            response.setHeader(ExportConstant.CONTENT_DISPOSITION, ExportConstant.ATTACHMENT_FILENAME + fileName + ExportConstant.CSV_SUFFIX);

            // 设置导出格式
            CsvWriterSettings setting = getDefaultWriteSetting();
            // 创见bean处理器,用于处理写入数据
            BeanWriterProcessor<?> beanWriter = new BeanWriterProcessor<>(head.getClass());
            setting.setRowWriterProcessor(beanWriter);

            // 导出数据
            writer = new CsvWriter(response.getOutputStream(), setting);
            writer.processRecords(rowDataList);
            writer.flush();
         catch (Exception e) 
            log.error("CsvExportUtil exportCsvWithBean in error:", e);
         finally 
            if (Objects.nonNull(writer)) 
                writer.close();
            
        
    


下一迭代

  下一迭代预计添加如下功能:

  • PDF轮子
  • FTP上传下载轮子
  • 更多功能期待读者提出issue或者私信

写在最后

  5月20号这天 ,希望博主的分享能够给你带来一些帮助 ,更多轮子功能集成,欢迎到下面地址了解,如果对您有帮助,希望能收到您的点赞、关注、收藏哦!节日快乐,祝各位单身狗早日遇到良人。

  Gitee地址: https://gitee.com/it-learning-diary/it-wheels-king

  Github地址: https://github.com/it-learning-diary/it-wheels-king

以上是关于开源项目-CSV导入导出工具类的主要内容,如果未能解决你的问题,请参考以下文章

POI 导出导入工具类介绍

java 使用 opencsv 封装csv导入导出工具 中文乱码

开源项目 | Magicodes.IE 3.0

PHP导入导出csv文件

HData——ETL 数据导入/导出工具

java里将从excel读到的数据用csv导出,代码怎么写