批量--02---分片

Posted 高高for 循环

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了批量--02---分片相关的知识,希望对你有一定的参考价值。

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档

文章目录


操作大数据

架构设计

  1. 技术选型 (mysql oracle db2 hadoop ElasticSearch)
  2. 分库
  3. 分表
  4. 分片

mysql 上限

分片

分片原理

分片实验1






分片实验2





分片 java实现

1.设置分片条件

2. 数据分片处理

分片记录数=数据库记录总数/分片数







3.openCursor





以上是关于批量--02---分片的主要内容,如果未能解决你的问题,请参考以下文章

分片中的 InsertBatch

MongoDB 分片

如何确定 AWS kinesis 流中的分区键总数?

前端 + 后端 实现分片上传(断点续传/极速秒传)

想搞清楚ZooKeepe?mysql批量insert数据上限

redis分片技术