采集淘宝美人库

Posted 2020-10-23 R_超

 

 

爬虫一共就四个主要步骤：

1、明确目标：明确需要抓取那些内容，在哪个网页
2、爬：分析网站结构，将所有的网站的内容全部爬下来
3、取：提取我们所需要的数据
4、处理数据：按照需求存储使用

第一步：

明确目标：
网站url: https://mm.taobao.com/search_tstar_model.htm?spm=5679.126488.640745.2.2dc084317xDoLY
抓取内容：
头像：存储在本地硬盘。
名字，城市，身高，体重，点赞数： 保存在mysql数据库
说明：这里只是用作教程并非真的要将爬取的内容作为其它用途

第二步爬：

使用到的模块：

python 3.6： python环境
requests： 发送请求
pymysql： 操作mysql
queue： 队列
random: 产生随机数

想要看懂这篇文章，还是需要那么一丢丢的python基础知识。

分析网页结构：
1、确定网页数据的请求方式\'GET\'还是\'POST\'，ajax异步请求还是直接浏览器请求，一般ajax请求的url跟我们在浏览器上的url地址栏看到是不一样的，所以我们需要使用到浏览器的开发者工具抓包查看。

我观察了下淘女郎这个模特库首页是有分页的，这里有个小技巧，来确定请求方式：
我这里使用的是谷歌浏览器，按F12打开浏览器的开发者工具，切换到netrork选项，然后将网页拉到最下面有分页的地方。

我们观察url地址栏上的地址并没有发生改变，所以地址栏上的url对我们没有帮助！这也说明这个网页的内容是通过ajax加载的。

查看图片上4的位置所有请求的url，发现第一个请求并没有返回任何数据，只有第二个请求有返回数据第三个请求之后的全部都是请求图片的。

选中第二个请求，选中response，查看返回的数据是json数据，可以将json数据复制到json在线解析网站解析看下返回的是什么，解析出来后我们发现，json数据 "searchDOList" 字段就是包含了当前页所有淘宝小姐姐的信息。

 

确定我们需要的数据就是在第二请求之后，我们回到开发者管理工具，点击headers查看请求头信息。

 

标红框的这几个数据等会写爬虫会用到，分析到这里我们就拿到了等下写爬虫需要的数据：

```

url:https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8
请求方式：post
post参数：
    q:
    viewFlag:A
    sortType:default
    searchStyle:
    searchRegion:city:
    searchFansNum:
    currentPage:2
    pageSize:100

```

测试获取页面内容：

 

import requests

url=\'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8\'
headers={\'user-agent\':\'Mozilla/5.0 (Linux; android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36\',
        \'referer\':\'https://mm.taobao.com/search_tstar_model.htm?spm=5679.126488.640745.2.1b545b81UeJRlv\'}
data={\'viewFlag\':\'A\',
\'sortType\':\'default\',
\'currentPage\':2,
\'pageSize\':100}
res =requests.post(url=url,data=data,headers=headers).json()

 完整版代码：

  注：程序进行了优化，图片下载本地生成缩略图：

  在173行使用用了一个 break。值采集一个模特信息，需要采集所有，将这行屏蔽：

 

  1 \'\'\'
  2 程序说明：采集mm.taobao.com模特图片和详细内容。将采集的数据保存到sqlite数据库中
  3 保存图片已采集模特的userId为文件名
  4 \'\'\'
  5 import requests
  6 import os
  7 import uuid
  8 import re
  9 import sqlite3
 10 from time import sleep
 11 from PIL import Image#处理图片
 12 #当前项目路径
 13 BASE_PATH=os.getcwd()
 14 DB =\'taobao_mm.db\'#数据保存的数据库名
 15 TABLE =\'mm_table\'   #数据保存的表名
 16 #缩略图尺寸：
 17 IMG_W=600
 18 IMG_H=600
 19 #创建数据sqlite数据库和表
 20 def create_db_table():   
 21     create_table_sql=\'\'\'
 22             create table IF NOT EXISTS %s(userid integer,
 23             realName varchar(50),
 24             city varchar(50),
 25             height varchar(10),
 26             weight varchar(10),
 27             totalFavorNum int(11),
 28             img varchar(225),
 29             content text
 30             )
 31         \'\'\'%(TABLE)
 32     #链接数据库
 33     db=sqlite3.connect(DB)
 34     #创建游标
 35     cur =db.cursor()
 36     #执行sql语句
 37     cur.execute(create_table_sql)
 38     #提交结果
 39     db.commit()
 40     #关闭数据库
 41     db.close()
 42 #插入数据   
 43 def insert_res(data):
 44     #确定数据库已经创建   
 45     create_db_table()
 46     
 47     sql=\'\'\'insert into %s(userid,realName,city,height,weight,totalFavorNum,img,content) 
 48            values(\'%s\',\'%s\',\'%s\',\'%s\',\'%s\',\'%s\',\'%s\',\'%s\')
 49     \'\'\'%(TABLE,data.get(\'userid\'),data.get(\'realName\'),data.get(\'city\'),data.get(\'height\'),data.get(\'weight\'),data.get(\'totalFavorNum\'),data.get(\'img\'),data.get(\'content\'))
 50     #链接数据库
 51     db=sqlite3.connect(DB)
 52     #创建游标
 53     cur =db.cursor()
 54     #执行sql语句
 55     cur.execute(sql)
 56     #提交事务
 57     db.commit()
 58     #关闭数据库
 59     db.close()
 60     return True
 61 
 62 
 63 #处理图片的函数,2个参数：1）图片地址 2）模特id
 64 def upload_img(url,userId):
 65     #保存图片已采集模特的userId为文件名
 66     relative_addr=\'upload\'+\'/%d/\'%(userId)
 67     #判断绝对地址文件夹是否存在:os.path.join(BASE_PATH,relative_addr)
 68     absolut_addr=os.path.join(BASE_PATH,relative_addr)
 69     #如果不存在。则创建文件夹
 70     if not os.path.exists(absolut_addr):
 71         os.makedirs(absolut_addr)#创建文件夹
 72     #取得当前图片的后缀
 73     postfix =url.split(\'.\')[-1]#文件名已.号分割。
 74     #已当前userId为当前的图片名
 75     file_name=str(userId)+\'.\'+postfix
 76      #文件相对地址：
 77     file_url=relative_addr+file_name
 78     #请求url图片地址。
 79     img_source=requests.get(\'http:\'+url)
 80     #将响应的结果保存到文件中file_url中：
 81     with open(file_url,\'wb\') as f:
 82         f.write(img_source.content)
 83     #生成缩略图
 84     img =Image.open(file_url)
 85     img.thumbnail((IMG_W,IMG_H))
 86     img.save(file_url,img.format)
 87     #返回相对地址：
 88     return file_url
 89 #爬取用户详细信息
 90 def get_content(userId):
 91     headers={\'user-agent\':\'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36\',
 92         \'referer\':\'https://mm.taobao.com/search_tstar_model.htm\'}
 93     url=\'https://mm.taobao.com/self/aiShow.htm?userId=\'+str(userId)
 94     img_source=requests.get(url=url,headers=headers)
 95     html=img_source.text
 96     #正则匹配文章内容
 97     content =re.search(\'<div.*?id="J_ScaleImg">(.*?)</div>\',html,re.S).group(1)
 98     #正则匹配文章中的所有图片
 99     img_list =re.findall(\'src="(.*?)"\',content,re.S)
100     #确定文件的保存路径
101     relative_addr=\'upload\'+\'/%d/\'%(userId)
102     print(relative_addr)
103     #判断绝对地址文件夹是否存在:os.path.join(BASE_PATH,upload_addr)
104     absolut_addr=os.path.join(BASE_PATH,relative_addr)
105     if not os.path.exists(absolut_addr):
106         os.makedirs(absolut_addr)#创建文件夹
107     #循环处理图片
108     temp_num=0
109     for url_img in img_list:        
110         #取得原文件后缀
111         postfix =url_img.split(\'.\')[-1]#文件名已.号分割。
112         #新文件文件名,格式为 ： userID_数字.后缀
113         file_name=\'%s_%s.%s\'%(str(userId),str(temp_num),postfix)
114         #temp_num累加1
115         temp_num = temp_num+1
116         #文件相对地址：
117         file_url=relative_addr+file_name
118         #请求url图片地址。
119         img_source=requests.get(\'http:\'+url_img)
120         #将响应的结果保存到文件中：
121         with open(file_url,\'wb\') as f:
122             f.write(img_source.content)
123         #生成缩略图
124         try:
125             img =Image.open(file_url)
126             img.thumbnail((IMG_W,IMG_H))
127             img.save(file_url,img.format)
128         except Exception as e:
129             print(file_name,\'\')
130         else:
131             continue
132         #替换采集内容中的图片地址
133         content =content.replace(url_img,\'/\'+file_url)
134     return content
135 #请求列表分页数据，url：采集地址，page：页数
136 def main(url,page):    
137     headers={\'user-agent\':\'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Mobile Safari/537.36\',
138             \'referer\':\'https://mm.taobao.com/search_tstar_model.htm?spm=5679.126488.640745.2.1b545b81UeJRlv\'}
139     print(\'开始：\')
140     for i in range(1,page+1):        
141         data={\'viewFlag\':\'A\',
142         \'sortType\':\'default\',
143         \'currentPage\':i,
144         \'pageSize\':100}
145         r =requests.post(url=url,data=data,headers=headers)
146         #判断请求状态
147         #根据请求状态进行处理，请求次数过多出错，就需要使用代理
148         print(\'第一页状态：\',r.status_code,end=\'\')
149         if r.status_code ==200:
150             res =r.json() #res 保存请求响应的结果
151             res_list=res[\'data\'][\'searchDOList\']  #保存响应的数据列表          
152             #循环列表，将数据插入到数据库中 
153             for item in res_list:
154                 #判断图片文件夹是否存在：
155                 relative_addr=\'upload\'+\'/%d/\'%(item[\'userId\'])#相对地址
156                 #判断绝对地址文件夹是否存在:os.path.join(BASE_PATH,upload_addr)
157                 absolut_addr=os.path.join(BASE_PATH,relative_addr)
158                 if os.path.exists(absolut_addr):
159                     #跳出本次循环，进行下次循环 
160                     continue
161                 insert_data={ \'realName\':item[\'realName\'],
162                             \'userid\':item[\'userId\'],
163                             \'city\':item[\'city\'],
164                             \'height\':item[\'height\'],
165                             \'weight\':item[\'weight\'],
166                             \'totalFavorNum\':item[\'totalFavorNum\'],
167                             \'img\':upload_img(item[\'avatarUrl\'],item[\'userId\']),
168                             \'content\':get_content(item[\'userId\'])#详细内容图片过多。只做参考
169                            }               
170                 #将数据插入到数据库中
171                 print(\'\\r\\n\',item[\'realName\'],\'-\',item[\'userId\'],\'：已采集\',\'\\r\\n\',end=\'\')                 
172                 insert_res(insert_data)
173                 break;#注意 ，需要采集所有需要将这句删除。
174                 sleep(1)#每次插入操作间隔1秒，方式sqlite被锁
175         else:
176             print(\'请求是失败,页数：\',i)
177     print(\'结束！\',)
178 #print(res_list)
179 #print(res)
180 if __name__ ==\'__main__\':
181     url=\'https://mm.taobao.com/tstar/search/tstar_model.do?_input_charset=utf-8\'
182     main(url,1)#第一个参数为采集地址。参数2：采集页数

View Code

 

 

 

效果：