请教Java处理大批量的数据

Posted 2023-05-03

首先看是什么文件？txt？还是xml？
如果是txt的话我们直接通过IO将其中的内容看做一个字符串，接着去找个正则表达式匹配（如果楼主正则表达式不错的话）一下那么很快就可以得出你想要的结果了。
如果xml的话则遍历用户节点然后找到相应的 userId的节点下的商品id的节点。
其实还有个方法就是通过spilte方法将它分成数组。。。然后遍历数组来得到想要的结果。。。正则表达式如果写出来应该是最快的，比较符合楼主的要求。。。 参考技术A 读取数据估计是没办法了，重点可以放在写入的操作上，粗略的认为，你使用框架进行数据库写入操作还不如用使用java原生的jdbc进行操作然后使用jdbc 的原生的批处理，我觉得肯定比框架快。我记得我当时插入10w条数据，只用了3秒，不过用的是oracle数据库。进行边读取边插入，这样占用的内存也相对小一些

急！！请教高手：如何用MATLAB程序高效地对大批量的数据进行处理和保存？（回答满意追加5分）

例如我的Matlab程序是针对一幅图片处理并输出结果的，我想对1000幅图片做同样的处理并保存结果，手动运行1000次程序岂不累死了？

这个不是很简单吗，你只需要把你的程序放在循环里面，然后加入图片的打开和保存的语句，就可以处理很多图片了啊！追问

图片名各不相同，怎么办？

追答

你的名字有规律的话按照规律使用字符串连接的方式在每个循环内部先组成文件名。如果没有规律，还有简单的方法，你可以使用dir函数获取需要处理的所有图片的名字，然后一个一个处理。

参考技术A 写一个for loop循环就好啦
files = dir('*.jpg');
for k = 1:numel(files)
%....处理代码...
rgb = imread(files(k).name);
rgb = rgb(1:1800, 520:2000, :);
rgb = imresize(rgb, 0.2, 'bicubic');
imwrite(rgb, ['cropped\' files(k).name]);

end

自己看着修改就好了本回答被提问者采纳