对几万行数据的调优操作,调优后系统性能提升明显
Posted 加辣椒了吗?
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了对几万行数据的调优操作,调优后系统性能提升明显相关的知识,希望对你有一定的参考价值。
文章目录
前言
对几万行的数据的处理或者对几万行数据与数据库的交互操作,虽然严格意义上来说,并不是很多,但是如果按照传统普通的流程一次性的遍历处理操作数据,也是会性能很差,有可能到分钟级别;
我在处理数据上就遇到这个问题:
问题一:对几万条数据筛选:
问题二:对几万条数据增删查改:
我是这样调优的:分批并将每一批作为一个线程。
经此处理后,系统性能提升明显
一、问题一:对几万条数据筛选
// 1.假设这个列表有两条数据
ArrayList<Object
以上是关于对几万行数据的调优操作,调优后系统性能提升明显的主要内容,如果未能解决你的问题,请参考以下文章
Spark学习之路 SparkCore的调优之Shuffle调优