用爬虫爬1688产品时,爬虫怎么知道1688下一个商品网址是多少,并且自动输入网址抓取

Posted 2023-04-09

用爬虫爬1688产品时,爬虫怎么知道1688下一个商品网址是多少,并且自动输入网址抓取

这个的话你要知道什么是爬虫啊，

爬虫就是获取一个网站的 html 页面，

然后获取里面的元素，获取对应的链接的那个元素，就得到 src 链接，就获取到商品网址了，额

建议先去了解爬虫的基本知识，然后选择一个会的语言去尝试一个相对简单的爬虫 demo

可以看看我的百度经验：node.js 爬虫-Puppeteer 包的使用，以后更多的文章可以看看

参考技术A 应该是自动的吧。这个你可以去学下，我记忆中好像是自动获取的。追问

您好 请问一下 是有专门的第三方软件可以使用吗? 不然怎么知道1688下一个产品的网址呢?

怎么用python爬虫爬取可以加载更多的网页

就像百度图片,当加载了更多图片之后网页源码却没有发生变化,多加载的图片也不能爬取下来,这种情况该怎么处理?

参考技术A 这种情况我自己还没有试过，只是借助爬虫框架pyspider结合PhantomJS，这样就可以在python里面嵌入一些js代码，实现点击，下拉等操作啦。本回答被提问者采纳