高德接口的使用——爬取过程

Posted 韦德·沃兹

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了高德接口的使用——爬取过程相关的知识,希望对你有一定的参考价值。

此次爬取需要引用包有

import sheet
import time
import json
import requests

此处做的为函数,需要mian函数来调用,为了方便程序运行统一成功。

def read_poi():

    #各下级行政区的代码,若是嫌逐个复制麻烦可以通过读取文件的方式实现,此处不进行讲解
    # arr= [\'120100\',\'120101\',\'120102\',\'120103\',\'120104\',\'120105\',\'120106\',\'1201010\',\'120111\',\'120112\',\'120113\',\'120114\',\'120115\',\'120116\',\'120117\',\'120118\',\'120119\']
    #API的URL,在这里进行了结构化处理
    arr = sheet.read_excel()
    url1="https://restapi.amap.com/v3/place/text?key=807c3aaf8b58a288aa83b28d11c817e4&keywords=景区&types=风景名胜&city="
    url2="&output=JSON&children=&offset=20&page="
    url3="&extensions=all"
    #用于储存数据
    x=[]
    #用于计数
    num=0

    #循环各下级行政区进行POI检索
    for i in range(0,len(arr)):
        #当前行政区
        city=arr[i]
        #因为官方对API检索进行了45页限制,所以只要检索到45页即可
        for page in range(1,46):
            #若该下级行政区的POI数量达到了限制,则警告使用者,之后考虑进行POI类型切分
            if page==45:
                print("警告!!POI检索可能受到限制!!")
            #构造URL
            thisUrl=url1+city+url2+str(page)+url3
            #获取POI数据
            data=requests.get(thisUrl)
            #转为JSON格式
            s=data.json()

            #解析JSON
            aa = s["pois"]

            #若解析的JSON为空,即当前行政区的数据不够45页(即没有达到限制),返回
            if len(aa)==0:
                break
            #对每条POI进行存储
            for k in range(0,len(aa)):
                b={}
                b["name"]=aa[k]["name"]
                b["type"]=aa[k]["type"]
                b["address"]=aa[k].get("address")
                b["adname"]=aa[k]["adname"]
                b["location"]=aa[k]["location"]
                b["citycode"]=aa[k]["citycode"]
                b["adcode"]=aa[k]["adcode"]
                b["pname"]=aa[k]["pname"]
                b["cityname"]=aa[k]["cityname"]
                x.append(b)
                num+=1
                print("爬取了 "+str(num)+" 条数据")
            print(city);
            time.sleep(0.5)


    #将数据结构化存储至规定目录的CSV文件中
    result = json.dumps(x, sort_keys=True, indent=2)
    with open(\'./jingqu/datapoi.json\',\'w\',encoding=\'utf-8\') as file:
        for i in result:
                file.write(i)
        print(\'数据已写入json文件...\')

 

以上是关于高德接口的使用——爬取过程的主要内容,如果未能解决你的问题,请参考以下文章

node爬虫通过高德接口爬取地址的经纬度

node爬虫通过高德接口爬取地址的经纬度

使用python与高德api获取省市县区

scrapy按顺序启动多个爬虫代码片段(python3)

JS爬取高德地图地址信息(周边设施经纬度)

scrapy主动退出爬虫的代码片段(python3)