Golang模拟搜索引擎爬虫

Posted liuhe688

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了Golang模拟搜索引擎爬虫相关的知识,希望对你有一定的参考价值。

最近网站需要针对百度做 SEO 优化,相关同学提交代码之后,我这边用 Go 写了个程序,模拟百度的爬虫,测试返回的内容是否正确。

其实很简单,就是发送一个请求,把百度相关的信息放入请求头中即可,代码如下:

package main

import (
    "net/http"
    "io/ioutil"
)

func main() {
    const (
        url = "https://github.com"
        userAgent = "Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)"
    )

    // 生成client 参数为默认
    client := &http.Client{}

    // 创建请求
    req, _ := http.NewRequest("GET", url, nil)

    // 在请求头中添加指定的UA
    req.Header.Add("User-Agent", userAgent)

    // 发起请求并返回结果
    res, _ := client.Do(req)

    // 读取资源数据
    body, _ := ioutil.ReadAll(res.Body)

    // 写入文件
    ioutil.WriteFile("source.txt", body, 0644)

    res.Body.Close()
}

以上是关于Golang模拟搜索引擎爬虫的主要内容,如果未能解决你的问题,请参考以下文章

golang中使用selenium进行爬虫

golang goroutine例子[golang并发代码片段]

Golang - 爬虫案例实践

golang代码片段(摘抄)

爬虫基础

爬虫基础