2月3日-寒假进度03

Posted 2021-03-12 ggrm

今天心神俱疲，准备爬取淘宝数据，淘宝的反爬机制太严格了，用的python?selenium?chrome去爬的数据，一天就是在坑里挣扎，

1.谷歌浏览器驱动界面必须是有谷歌浏览器的哈，然后对应自己浏览器的版本去下载chromedriver.exe文件，下载地址可看下篇博客

2.可能因为版本问题或者网络问题，爬取数据时，经过页面跳转后，会出现标签定位不到的问题，但和同学沟通看来，我的这样但她却没类似问题，开始以为是我的标签没写对，研究了好久，浪费了很长时间。大概有3个小时都耗在这了，(欲哭无泪啊)，网上查找原因或许是页面跳转后不稳定导致的，只解决了百分之50(解决办法在下篇博客统一总结了)索性最后先存下详情链接，之后再去爬。。。。。。若有大佬看到这篇没质量的博客，并有方法，求评论告知????

 

 

 

 

今日总结：每天在一个问题上消耗很长时间，没多大进展，慌得一批，明天继续爬数据，(爬了一点点，我的淘宝账号还给我封了。。)

明天继续爬数据，文章发布！