oracle数据库，搜索百万级别数据分页优化问题

Posted 2023-05-05

SELECT COUNT(0) FROM "data_table" WHERE "time" >= "**" AND "time" <= "**"

搜索某个时间段内数据量，现在500万数据大概要10秒左右，能不能优化到5秒以内呢？ time已添加索引

oracle count 百万级 分页查询记录总数、总条数优化
Oracle count 百万级 查询记录总数、总条数优化
最近做一个项目时，做分页时，发现分页查询速度很慢，分页我做的是两次查询，一次是查询总数，一次是查询分页结果
[java] view plain copy
/** 查询总记录数 **/
SELECT
COUNT(id)
FROM
USER
order by
id
/** 查询结果集 **/
select
*
from
( select
row_.*,
rownum rownum_
from
( select
id ,
user_number,
user_name,
user_password,
sex,
Registered_time,
last_login_time,
post
from
USER u
order by
u.id) row_
where
rownum <= ?
)
where
rownum_ > ?
user表中的记录是128万多条，这个是没有查询条件时的查询，也就是用户刚刚进入模块时的查询，发现查询时间是2566ms~2152ms之间，单独执行每条语句，发现第一条的执行时间在2000ms以上，在PL/SQL中执行的结果也证实了我的判断。所以要对select count语句进行优化。
在网上找了很多优化方案，大多不尽人意，（分表的方式听上去不错，不过由于单表是历史原因，这里就不作考虑）。最后找到一个比较令人满意的答。就是在语句中加入 /*+ROWID(USER)*/或者/*+ INDEX(USER ID) */ 来提高查询效果。
听说这个就是强制使用索引统计结果？如果有哪位大虾能把原理详细告诉我，请来多多指点！
[java] view plain copy
SELECT /*+ROWID(USER)*/ count(*) FROM USER t
或者
SELECT /*+ INDEX(USER ID) */ count(*) FROM USER t
使用后，单条统计总数的查询在800ms左右，分页查询结果基本在900ms~950ms之间，基本在一秒之内，达到了当初设计需求。
当然，这个是没有加查询条件的，当把查询条件加入后，不管前面加不加强制索引，结果时间都在2000ms之间，所以，如果要进行有条件的查询，就要在where条件中进行优化。特别注意条件字段查询前后顺序。 参考技术A 测试下查询有没有走索引，刚试过了，千万级数据，取100万条数据，不到两秒追问

大神，我昨天测试了，那条语句没走索引，这个表是按时间分区了的 为什么没走索引呢

追答

rebuild索引试试

追问

额，我现在发现我们的表分区是以一天为时间段分区的，查询同一天里的数据就是用到了索引，跨天的话 就用不到索引~~~

追答

数据量这么大吗？ 需要按天来分区， 修改下吧， 记得采纳噢

追问

嗯嗯，数据量太大了，一天少了说300万左右，我不知道怎么搞了。。。你还有什么窍门没？

追答

一天300W，一个月一亿条数据， 不做历史数据处理，一直放着？
如果非要按每天分区的话， 那前端查询就写死，只能一天一天查， 或者要多天查询就批量生成，不走实时查询。

本回答被提问者采纳

Oracle大量数据查询优化

比如sql为“select name from table”name字段名，table表名如果数据量很大 几百万的有什么优化的方法数据库是Oracle的

参考技术A 首先，对语句进行优化，不要尽量不要写过于复杂的嵌套查询，当需要的时候，后面的子查询数量应为较大的数据。因为SQL是从右至左的查询，先查大的数据。然后建立索引，对经常查到的条件字段 例如 时间 where 月份 = 1月 这样的语句就应该建立所以 来提高效率。对于较复杂的查询应建立组合索引。横纵向切割表。对于大数据量，上百万条的数据可以对其进行横向切割。比如按时间的月份进行切割，或者按照其他方式来切割表，达到快速查询的目的。减少信息的检索量。 参考技术B 1、在表上建分区；
2、建索引；
3、如果是exedata平台，不要用索引，尽量少用hint；
4、用并行； 参考技术C 1、name上建立索引
2、将表table在线重定义为分区表，在name列上使用hash分区或者range分区 参考技术D create index(es). but, you should have the "where clause" in the statement to use the index