简单爬虫思路

Posted 2020-10-04

1、预期获取的资源的url
2、下载url的html源文件(文本形式)
3、从已下载的html源文件里获取标签或内容（bs4函数（python3））
 soup=BeautifulSoup #创建对象
 body=soup.body  #html基本框架形式、格式
 data_main=body.find() #利用浏览器的审查元素 对应内容（部分）
 for i, table_info in enumerate(tables):  #利用enumerate添加序号
  gsmc = tds[2].find(‘a‘).get_text()  #根据索引找内容

4、给url提交参数
for keyword in KEYWORDS:
 #url上提交的参数（类似于asp?id=1&sugtime=1503299916325）           
        paras = {‘jl‘:args[0],‘kw‘:keyword,‘p‘:args[1]}
5、调用get_content(html)函数获取预期资源
 利用for循环遍历下载下来的centent文本信息获取预期资源
拓展:datetime获得start/end time
     爬取多个网页或内容  可使用from multiprocessing import Pool