每日关键词-170226

Posted 2020-09-01

数据库分表：归档 当数据量庞大的时候，水平分表，适当归档

 

昨晚爬金东数据，开了10个线程，没有给线程sleep，然后爬的慢不说。有时候ajax请求的价格返回给我的是空的，今天打算做一个winform的工具，支持断点续爬，原理我觉得应该是在爬url的时候，没爬完一个url，给这条信息加一个字段isSuc =true的表记，这样下次爬的时候直接找这个字段为false 就行。