千万级数据

Posted 2023-05-13

是用数据库+XML文件存储数据好呢呢 还是单单使用数据库好呢？！

数据需要关键字搜索

如果是单独的数据库怎么做搜索？！
如果是数据库+XML该怎么设计搜索？！
数据库用mysql
操作系统：freebsd

如果是用数据库咋个做关键字搜索系统？！~字段比较大！~不使用like 有没有高效的检索系统

数据库吧，你用什么数据库

mysql可以配合lucene做搜索引擎，还不够大可以用cluster.一般你用like没问题，索引要做得好。

如果大家有异议，可以在后面补充。我会随时更新的。

现在大概列出如下:(望各位补充)
1.数据库的设计
尽量把数据库设计的更小的占磁盘空间.
1).尽可能使用更小的整数类型.(mediumint就比int更合适).
2).尽可能的定义字段为not null,除非这个字段需要null.（这个规则只适合字段为KEY的情形）
3).如果没有用到变长字段的话比如varchar,那就采用固定大小的纪录格式比如char.（CHAR 总是比VARCHR快）
4).表的主索引应该尽可能的短.这样的话每条纪录都有名字标志且更高效.
5).只创建确实需要的索引。索引有利于检索记录，但是不利于快速保存记录。如果总是要在表的组合字段上做搜索，那么就在这些字段上创建索引。索引的第一部分必须是最常使用的字段.如果总是需要用到很多字段，首先就应该多复制这些字段，使索引更好的压缩。
（这条只适合MYISAM引擎的表，对于INNODB则在保存记录的时候关系不大，因为INNODB是以事务为基础的，如果想快速保存记录的话，特别是大批量的导入记录的时候）
6).所有数据都得在保存到数据库前进行处理。
7).所有字段都得有默认值。
8).在某些情况下,把一个频繁扫描的表分成两个速度会快好多。在对动态格式表扫描以取得相关记录时，它可能使用更小的静态格式表的情况下更是如此。
(具体的表现为：MYISAM表的MERGE类型，以及MYISAM和INNODB通用的分区，详情见手册)
9).不会用到外键约束的地方尽量不要使用外键。
2.系统的用途
1).及时的关闭对MYSQL的连接。
2).explain 复杂的SQL语句。（这样能确定你的SELECT 语句怎么优化最佳）
3).如果两个关联表要做比较话，做比较的字段必须类型和长度都一致.（在数据庞大的时候建立INDEX）
4).LIMIT语句尽量要跟order by或者 distinct.这样可以避免做一次full table scan.
5).如果想要清空表的所有纪录,建议用truncate table tablename而不是delete from tablename.
不过有一个问题，truncate 不会在事务处理中回滚。因为她要调用create table 语句。
（Truncate Table 语句先删除表然后再重建，这个是属于文件界别的，所以自然快N多）
实测例子：
song2为INNODB表。
mysql> select count(1) from song2;
+----------+
| count(1) |
+----------+
| 500000 |
+----------+
1 row in set (0.91 sec)

mysql> delete from song2;
Query OK, 500000 rows affected (15.70 sec)
mysql> truncate table song2;
Query OK, 502238 rows affected (0.17 sec)

mysql>

这一点手册上有详细解释：
13.2.9. TRUNCATE语法

TRUNCATE [TABLE] tbl_name

TRUNCATE TABLE用于完全清空一个表。从逻辑上说，该语句与用于删除所有行的DELETE语句等同，但是在有些情况下，两者在使用上有所不同。

对于InnoDB表，如果有需要引用表的外键限制，则TRUNCATE TABLE被映射到DELETE上；否则使用快速删减（取消和重新创建表）。使用TRUNCATE TABLE重新设置AUTO_INCREMENT计数器，设置时不考虑是否有外键限制。

对于其它存储引擎，在MySQL 5.1中，TRUNCATE TABLE与DELETE FROM有以下几处不同：

· 删减操作会取消并重新创建表，这比一行一行的删除行要快很多。

· 删减操作不能保证对事务是安全的；在进行事务处理和表锁定的过程中尝试进行删减，会发生错误。

· 被删除的行的数目没有被返回。

· 只要表定义文件tbl_name.frm是合法的，则可以使用TRUNCATE TABLE把表重新创建为一个空表，即使数据或索引文件已经被破坏。

· 表管理程序不记得最后被使用的AUTO_INCREMENT值，但是会从头开始计数。即使对于MyISAM和InnoDB也是如此。MyISAM和InnoDB通常不再次使用序列值。

· 当被用于带分区的表时，TRUNCATE TABLE会保留分区；即，数据和索引文件被取消并重新创建，同时分区定义（.par）文件不受影响。

TRUNCATE TABLE是在MySQL中采用的一个Oracle SQL扩展。


6).能使用STORE PROCEDURE 或者 USER FUNCTION的时候.（ROUTINE总是减少了服务器端的开销）
7).在一条insert语句中采用多重纪录插入格式.而且使用load data infile来导入大量数据，这比单纯的indert快好多.（在MYSQL中具体表现为：INSERT INTO TABLEQ VALUES (),(),...();）
（还有就是在MYISAM表中插入大量记录的时候先禁用到KEYS后面再建立KEYS,具体表现语句：
ALTER TABLE TABLE1 DISABLE KEYS;ALTER TABLE TABLE1 ENABLE KEYS;
而对于INNNODB 表在插入前先 set autocommit=0;完了后：set autocommit=1;这样效率比较高。）
8).经常OPTIMIZE TABLE 来整理碎片.
9).还有就是date 类型的数据如果频繁要做比较的话尽量保存在unsigned int 类型比较快。
3.系统的瓶颈
1).磁盘搜索.
并行搜索,把数据分开存放到多个磁盘中，这样能加快搜索时间.
2).磁盘读写(IO)
可以从多个媒介中并行的读取数据。
3).CPU周期
数据存放在主内存中.这样就得增加CPU的个数来处理这些数据。
4).内存带宽
当CPU要将更多的数据存放到CPU的缓存中来的话,内存的带宽就成了瓶颈.
====
Another article more about tuning details:
http://www.informit.com/articles/article.aspx?p=29406&seqNum=1

http://blog.chinaunix.net/u/29134/showart_264480.html 参考技术A MARK

参考资料：四罐菠菜的脑袋

simhash算法：海量千万级的数据去重

simhash算法：海量千万级的数据去重

simhash算法及原理参考：

简单易懂讲解simhash算法 hash 哈希：https://blog.csdn.net/le_le_name/article/details/51615931

simhash算法及原理简介：https://blog.csdn.net/lengye7/article/details/79789206

使用SimHash进行海量文本去重：https://www.cnblogs.com/maybe2030/p/5203186.html#_label3

 

 

python实现：

python使用simhash实现文本相似性对比（全代码展示）：https://blog.csdn.net/weixin_43750200/article/details/84789361

simhash的py实现：https://blog.csdn.net/gzt940726/article/details/80460419

 

python库simhash使用

详情请查看：https://leons.im/posts/a-python-implementation-of-simhash-algorithm/

（1） 查看simhash值

>>> from simhash import Simhash
>>> print ‘%x‘ % Simhash(u‘I am very happy‘.split()).value
9f8fd7efdb1ded7f

Simhash()接收一个token序列，或者叫特征序列。

 

（2）计算两个simhash值距离

>>> hash1 = Simhash(u‘I am very happy‘.split())
>>> hash2 = Simhash(u‘I am very sad‘.split())
>>> print hash1.distance(hash2)

（3）建立索引

simhash被用来去重。如果两两分别计算simhash值，数据量较大的情况下肯定hold不住。有专门的数据结构，参考：http://www.cnblogs.com/maybe2030/p/5203186.html#_label4

from simhash import Simhash, SimhashIndex
# 建立索引
data = 
u‘1‘: u‘How are you I Am fine . blar blar blar blar blar Thanks .‘.lower().split(),
u‘2‘: u‘How are you i am fine .‘.lower().split(),
u‘3‘: u‘This is simhash test .‘.lower().split(),

objs = [(id, Simhash(sent)) for id, sent in data.items()]
index = SimhashIndex(objs, k=10) # k是容忍度；k越大，检索出的相似文本就越多
# 检索
s1 = Simhash(u‘How are you . blar blar blar blar blar Thanks‘.lower().split())
print index.get_near_dups(s1)
# 增加新索引
index.add(u‘4‘, s1)