Golang 简单爬虫实现,爬取小说
Posted xiyu714
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Golang 简单爬虫实现,爬取小说相关的知识,希望对你有一定的参考价值。
为什么要使用Go写爬虫呢?
对于我而言,这仅仅是练习Golang的一种方式。
所以,我没有使用爬虫框架,虽然其很高效。
为什么我要写这篇文章?
将我在写爬虫时找到资料做一个总结,希望对于想使用Golang写爬虫的你能有一些帮助。
爬虫主要需要解决两个问题:
- 获取网页
- 解析网页
如果这两个都无法解决的话就没法再讨论其他了。
开发一个爬取小说网站的爬虫会是一个不错的实践。
这是两个实例:
这是需要的两个项目:
这里还是得特别提醒一下,一定要将其他编码转换为UTF-8编码,否则会出现一些奇怪的问题。
可以参考这篇:golang 中文网页乱码处理及解析
这里我还要推一下我自己写的爬虫,虽然很简陋,但好在能用(〃?〃)
以上是关于Golang 简单爬虫实现,爬取小说的主要内容,如果未能解决你的问题,请参考以下文章
Python爬虫之Scrapy框架系列(14)——实战ZH小说爬取多页爬取
Python3网络爬虫:使用Beautiful Soup爬取小说