19岁表弟，暑假接了一个五百的外包。。。
Posted Python编程杰哥
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了19岁表弟，暑假接了一个五百的外包。。。相关的知识，希望对你有一定的参考价值。
大家好，我是杰哥。
表弟暑假刚刚开始没多久，却比在学校还要繁忙很多，白天在我爸朋友的公司上班，晚上回来学数据分析，感觉比在学校还要忙，不过还是很充实的，昨天在一个外包群看到一个单价钱合理刚好自己会爬虫就做了，给大家分享一下整个过程和项目。
爬取目标
网站：天气预报
工具使用
开发工具：pycharm
开发环境：python3.7， Windows10
使用工具包：requests，lxml，csv，threading
前言
此项目为一个兼职外包项目（采集全国城市未来15天天气） 前期缺少沟通导致把当前网址全部的城市数据进行采集， 后面是拿的2345天气进行城市匹配
项目解析思路
先采集天气预报网的所以城市信息
获取到当前网页上所以的城市地址以及详情页面链接 当前网页的城市包含了很多的区需要进行去除 从2345网页提成出城市进行对比取出市区数据（你说啥？ 为什么不从2345直接取， 因为2345数据有些麻烦）
provinces_citys = [['新余,/xinyu/', '天津,/tianjin/', '上海,/shanghai/', '重庆,/chongqing/', '周宁,/zhouning/', '珠晖,/zhuhuiqu/', '南昌,/nanchang/', '沧州新华,/cangzhouxinhuaqu/', '大兴安岭,/daxinganling/', '昆山,/kunshan/', '合肥,/hefei/', '咸宁,/xianning/', '钟山,/zhongshanxian/', '宜宾,/yibinxian/', '苏州,/suzhou/', '乌海,/wuhai/', '宝鸡,/baoji/', '庆阳,/qingyang/', '长子,/zhangzi/', '中方,/zhongfang/', '正安,/zhengan/', '呼伦贝尔,/hulunbeier/', '临沂,/linyi2/', '镇海,/zhenhai/', '卓资,/zhuozi/', '昌都,/changdu/', '临沧,/lincang/', '枣庄,/zaozhuang/', '锦州,/jinzhou1/', '许昌,/xuchangxian/', '衡阳,/hengyangxian/', '九江,/jiujiang/', '黄山风景,/huangshanfengjingqu/', '莱芜,/laiwu/', '兴安,/xinganmeng/', '朝阳,/chaoyang1/', '海南,/hainan/', '果洛,/guoluo/', '赞皇,/zanhuang/', '曾都,/zengduqu/', '昭通,/zhaotong/', '云浮,/yunfu/', '汕尾,/shanwei/', '株洲,/zhuzhou/', '辽阳,/liaoyang/', '承德,/chengde/', '贵阳,/guiyang1/', '绥化,/suihua/', '德阳,/deyang/', '九江,/jiujiangxian/', '衡水,/hengshui/', '南阳,/nanyang/', '甘南州,/gannan/', '汉中,/hanzhong/', '中宁,/zhongning/', '湘潭,/xiangtanxian/', '阳江,/yangjiang/', '长沙,/changshaxian/', '大同,/datongxian/', '汕头,/shantou/', '铁岭,/tielingxian/', '长沙,/changsha/', '自贡,/zigong/', '衢州,/quzhou1/', '梧州,/wuzhou/', '南通,/nantong/', '丽水,/lishui/', '凉山,/liangshan1/', '抚州,/fuzhou1/', '赣州,/ganzhou/', '成都,/chengdu/', '保定,/baoding/', '镇巴,/zhenba/', '漳平,/zhangping/', '东莞,/dongguan/', '咸阳,/xianyang/', '正镶白旗,/zhengxiangbaiqi/', '巴中,/bazhong/', '拉萨城关,/lasachengguanqu/', '中山,/zhongshanqu1/', '安顺,/anshun/', '峨眉山,/emeishan/', '杭州,/hangzhou/', '林芝,/linzhi/', '章丘,/zhangqiu/', '鞍山,/anshan/', '中山,/zhongshan/', '黑河,/heihe/', '本溪满族,/benximanzu/', '周村,/zhoucun/', '攀枝花东区,/panzhihuadongqu/', '承德,/chengdexian/', '广州,/guangzhou/', '邯郸,/handan/', '楚雄州,/chuxiong/', '平顶山,/pingdingshan/', '株洲,/zhuzhouxian/', '六安,/luan/', '张家口桥东,/zhangjiakouqiaodong/', '上饶,/shangraoxian/', '眉山,/meishan/'], ['昭阳,/zhaoyangqu/', '札达,/zhada/', '岳阳楼,/yueyanglouqu/', '黔西南,/qianxinan/', '内江,/neijiang/', '宣城,/xuancheng/', '玉林,/yulin1/', '大同,/daqingdatong/', '延边朝鲜族,/yanbian/', '镇雄,/zhenxiong/', '桂林,/guilin/', '兴安,/xinganxian/', '泽州,/zezhou/', '常州,/changzhou/', '葫芦岛,/huludao/', '邵阳,/shaoyangxian/', '玉溪,/yuxi/', '肇庆,/zhaoqing/', '河池,/hechi/', '石家庄桥东,/shijiazhuangqiaodongqu/', '徐州鼓楼,/gulouqu/', '防城港,/fangchenggang/', '乐山,/leshan/', '石家庄,/shijiazhuang/', '烟台,/yantai/', '金昌,/jinchang/', '娄底,/loudi/', '珠海,/zhuhai/', '芝罘,/zhifuqu/', '池州,/chizhou/', '黄冈,/huanggang/', '淮安,/huaian1/', '增城,/zengcheng/', '毕节,/bijie/', '邢台桥西,/xingtaiqiaoxiqu/', '资兴,/zixing/', '孝感,/xiaogan/', '资溪,/zixi/', '银川,/yinchuan/', '招远,/zhaoyuan1/', '常德,/changde/', '黄山,/huangshanqu/', '临夏,/linxiaxian/', '甘孜州,/ganzi/', '武威,/wuwei/', '邵阳,/shaoyang/', '朝阳,/chaoyangqu/', '朔州,/shuozhou/', '驻马店,/zhumadian/', '赵县,/zhaoxian/', '中原,/zhongyuanqu/', '嘉峪关,/jiayuguan/', '茂名,/maoming/', '吉林,/jilinshi/', '日照,/rizhao/', '吕梁,/lvliang/', '张湾,/zhangwan/', '阿里,/ali/', '龙岩,/longyan/', '镇赉,/zhenlai/', '宿迁,/suqian/', '漯河,/luohe/', '泽库,/zeku/', '枣阳,/zaoyang/', '连云港海州,/lianyunganghaizhou/', '福州,/fuzhou/', '昭平,/zhaopingqu/', '芜湖,/wuhu/', '嘉兴,/jiaxing/', '山南,/shannan/', '哈尔滨,/haerbin/', '中江,/zhongjiang/', '南京,/nanjing/', '扬州,/yangzhou/', '日喀则,/rikaze/', '牡丹江,/mudanjiang/', '滁州,/chuzhou1/', '日喀则地,/shigatsequ/', '安庆,/anqing/', '保山,/baoshan1/', '新乡,/xinxiang/', '昭平,/zhaopingxian/', '焦作,/jiaozuo/', '泽普,/zepu/', '抚顺,/fushun/', '迪庆,/diqing/', '竹山,/zhushan/', '忻州,/xinzhou/', '宁波,/ningbo/', '六盘水,/liupanshui/', '玉树,/yushu1/', '东营,/dongying/', '天水,/tianshui/', '西安,/xianqu/', '吉安,/jianxian/', '张家界,/zhangjiajie/', '秭归,/zigui/', '贺州,/hezhou/'], ['自流井,/ziliujingqu/', '海北,/haibei/', '盐城,/yancheng/', '镇安,/zhenan/', '文山州,/wenshan/', '廊坊,/langfang/', '湘西,/xiangxi/', '吕梁离石,/lvlianglishi/', '扎兰屯,/zhalantun/', '衡阳,/hengyang/', '新乡,/xinxiangxian/', '安阳,/anyangxian/', '金华,/jinhua/', '张家港,/zhangjiagang/', '彰武,/zhangwu/', '三亚,/sanya/', '湘潭,/xiangtan/', '惠州,/huizhou/', '绵阳,/mianyang/', '铁岭,/tieling/', '益阳,/yiyang1/', '长治,/changzhixian/', '钟祥,/zhongxiang/', '沈阳,/shenyang/', '黔东南,/qiandongnan/', '梅州,/meizhou/', '周口,/zhoukou/', '景德镇,/jingdezhen/', '锡林郭勒,/xilingguole/', '荆州,/jingzhouqu/', '大连,/dalian/', '湛江,/zhanjiang/', '榆林,/yulin/', '沾益,/zhanyi/', '淮南,/huainan/', '张掖,/zhangye/', '枣庄市中,/shizhongqu/', '黄南,/huangnan/', '涿鹿,/zhuolu/', '佳木斯,/jiamusi/', '韶关,/shaoguan/', '通辽,/tongliao/', '铜川,/tongchuan/', '漳州,/zhangzhou/', '深圳,/shenzhen/', '攀枝花,/panzhihua/', '威海,/weihai/', '滨州,/binzhou/', '唐山,/tangshan/', '枣强,/zaoqiang/', '十堰,/shiyan/', '黄山,/huangshan/', '青岛,/qingdao/', '济宁,/jining1/', '竹溪,/zhuxi/', '涿州,/zhuozhou/', '鄂尔多斯,/eerduosi/', '海南州,/hainanzhou/', '大庆,/daqing/', '红河,/honghe/', '湛河,/zhanhequ/', '阿坝,/aba/', '德宏,/dehong/', '漳县,/zhangxian/', '崇左,/chongzuo/', '连云港,/lianyungang/', '振安,/zhenanqu/', '辽源,/liaoyuan/', '温岭,/wenling/', '淄博,/zibo/', '拉萨,/lasa/', '长治,/changzhi/', '柳州,/liuzhou/', '铜陵,/tonglingjiaoqu/', '秦皇岛,/qinhuangdao/', '绍兴,/shaoxing/', '诸城,/zhucheng/', '濮阳,/puyang/', '陇南,/longnan1/', '通化,/tonghuaxian/', '开封鼓楼,/kaifenggulouqu/', '阜新蒙古族,/fuxinmengguzu/', '正阳,/zhengyang/', '攀枝花西区,/panzhihuaxiqu/', '齐齐哈尔,/qiqihaer/', '织金,/zhijin/', '安康,/ankang/', '淄川,/zichuan/', '延安,/yanan/', '大同,/datong/', '聊城,/liaocheng/', '萍乡,/pingxiang1/', '扎赉特,/zhalaite/', '资阳,/ziyang1/', '珠山,/zhushanqu/', '临漳,/linzhang/', '朝阳,/chaoyangxian/'], ['武汉,/wuhan/', '巢湖,/chaohu/', '辽阳,/liaoyangxian/', '清远,/qingyuan3/', '德州,/dezhou/', '沈阳铁西,/shenyangtiexiqu/', '泸州,/luzhou/', '徐州,/xuzhou/', '枝江,/zhijiang/', '蚌埠,/bengbu/', '荆门,/jingmen/', '阿拉善右旗,/alashanyouqi/', '商丘,/shangqiu/', '南平,/nanping/', '台州,/taizhou/', '站前,/zhanqianqu/', '甘南,/gannan1/', '临汾,/linfen/', '永州,/yongzhou/', '恩施州,/enshi/', '丹东,/dandong/', '包头,/baotou/', '通化,/tonghua/', '广安,/guanganqu/', '宜昌,/yichang/', '白银,/baiyin/', '贵港,/guigang/', '无锡,/wuxi1/', '黄石港,/huangshigangqu/', '郴州,/chenzhou/', '本溪,/benxi/', '淮北,/huaibei/', '芜湖,/wuhuxian/', '鹤壁,/hebi/', '长治郊,/changzhijiaoqu/', '召陵,/shaolingqu/', '中卫,/zhongwei/', '漳浦,/zhangpu/', '南漳,/nanzhang/', '正蓝旗,/zhenglanqi/', '遂宁,/suining1/', '那曲,/naqu/', '紫金,/zijin/', '曲靖,/qujing/', '潮州,/chaozhou/', '临夏州,/linxia/', '蒸湘,/zhengxiangqu/', '河源,/heyuan/', '阿拉善左旗,/alashanzuoqi/', '运城,/yuncheng/', '张家口,/zhangjiakou/', '张家口桥西,/zhangjiakouqiaoxiqu/', '镇江,/zhenjiang/', '泰州,/taizhou2/', '乌鲁木齐,/wulumuqi/', '肇州,/zhaozhou/', '温州,/wenzhou/', '邢台,/xingtai/', '镇康,/zhenkang/', '诏安,/zhaoan/', '长春,/changchun/', '抚顺,/fushunxian/', '诸暨,/zhuji/', '晋中,/jinzhong/', '湖州,/huzhou/', '洛阳,/luoyang/', '振兴,/zhenxingqu/', '宜宾,/yibin/', '章贡,/zhanggongqu/', '四平,/siping/', '马鞍山,/maanshan/', '舟曲,/zhouqu/', '菏泽,/heze/', '正宁,/zhengning/', '黔南州,/qiannan/', '西宁,/xining/', '东营,/dongyingqu/', '宜春,/yichun1/', '宁波江北,/ningbojiangbei/', '正定,/zhengding/', '上饶,/shangrao/', '张家界永定,/yongdingqu/', '呼和浩特,/huhehaote/', '钟山,/zhongshanqu/', '吉安,/jian1/', '临沂河东,/lingyihedong/', '楚雄,/chuxiong/', '广安,/guangan/', '子长,/zichang/', '开封,/kaifeng/', '三河,/sanhe/', '张店,/zhangdianqu/', '柘城,/zhecheng/', '怀化,/huaihua/', '恩施,/enshi/', '兰州,/lanzhou/', '泉州,/quanzhou/', '晋城,/jincheng/'], ['潍坊,/weifang/', '镇平,/zhenping1/', '西宁城中,/xiningchengzhongqu/', '酒泉,/jiuquan/', '红河州,/honghe/', '白银,/baiyinqu/', '西双版纳,/xishuangbanna/', '那曲地,/nagqu/', '文山,/wenshan/', '黄石,/huangshi/', '泰安,/taian1/', '肇源,/zhaoyuan/', '治多,/zhiduo/', '定西,/dingxi/', '济南市中,/jinanshizhong/', '中牟,/zhongmou/', '铜陵,/tongling/', '南宁,/nanning/', '江门,/jiangmen/','慈溪,/cixi/', '郑州,/zhengzhou/', '鞍山铁西,/anshantiexiqu/', '海西,/haixi/', '安阳,/anyang/', '铜仁,/tongren/', '西安,/xian/', '沧州,/cangzhou/', '淮安,/huaianqu/', '亳州,/bozhou2/', '海南,/hainanqu/', '揭阳,/jieyang/', '兴安,/xinganqu/', '杂多,/zaduo/', '营口,/yingkou/', '桂林象山,/guilinxiangshan/', '阳泉,/yangquan/', '济南,/jinan/', '平凉,/pingliang/', '芷江,/zhijiang1/', '阿坝州,/aba/', '赤峰,/chifeng/', '周至,/zhouzhi/', '张北,/zhangbei/', '荆州,/jingzhou/', '盘锦,/panjin/', '雅安,/yaan/', '三门峡,/sanmenxia/', '阜阳,/fuyang1/', '丽江,/lijiang/', '岳阳,/yueyangxian/', '昆明,/kunming/', '太原,/taiyuan/', '信阳,/xinyang/', '莆田,/putian/', '浈江,/zhenjiang1/', '来宾,/laibin/', '柞水,/zhashui/', '志丹,/zhidan/', '资阳,/ziyangqu/', '扎囊,/zhanang/', '三明,/sanming/', '五大连池,/wudalianchi/', '乌兰察布,/wulanchabu/', '南充,/nanchong/', '准格尔,/zhungeer/', '阜新,/fuxin/', '百色,/baise/', '佛山,/foshan/', '镇原,/zhenyuan/', '阿拉善,/alashanmeng/', '扎鲁特,/zhalute/', '厦门,/xiamen/', '岳阳,/yueyang/', '海口,/haikou/', '宿州,/suzhou1/', '钟楼,/zhonglouqu/', '鄂州,/ezhou/', '鹤岗,/hegang/', '北海,/beihai/', '钦州,/qinzhou/', '樟树,/zhangshu/', '濮阳,/puyangxian/', '卓尼,/zhuoni/', '随州,/suizhou/', '宁德,/ningde/', '怒江州,/nujiang/', '中阳,/zhongyang/', '舟山,/zhoushan/', '海东,/haidong/', '广元,/guangyuan/', '乌鲁木齐,/wulumuqixian/', '北京,/beijing/', '商洛,/shangluo/', '许昌,/xuchang/', '大理州,/dali1/', '南昌,/nanchangxian/']]
两个网页匹配的网页找不到全部的了 找到一个测试版本的 各位大佬可自行修改
import requests
# from queue import Queue
# from fake_useragent import UserAgent
from lxml import etree
headers =
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (Khtml, like Gecko) Chrome/88.0.4324.150 Safari/537.36 Edg/88.0.705.63',
'Cookie': 'Hm_lvt_a3f2879f6b3620a363bec646b7a8bcdd=1612610822,1614072517; lastCountyId=58027; lastCountyTime=1614080467; lastCountyPinyin=xuzhou; lastCityId=58027; lastProvinceId=25; Hm_lpvt_a3f2879f6b3620a363bec646b7a8bcdd=1614080468'
def get_admArea(url, abc):
response = requests.get(url, headers=headers).content.decode()
html_data = etree.HTML(response)
city_url_list = html_data.xpath('//td[@width="80"]/a/@href')
for city_url in city_url_list:
abc.append(city_url)
def main():
province_list = ['北京,/beijing/', '江北,/jiangbei/', '渝中,/yuzhongqu/', '大渡口,/dadukou/', '沙坪坝,/shapingba/', '九龙坡,/jiulongpo/', '南岸,/nananqu/', '开州,/kaizhou/', '永川,/yongchuan/', '合川,/hechuan/', '南川,/nanchuan/', '江津,/jiangjin/', '万盛,/wansheng/', '渝北,/yubei/', '北碚,/beibei/', '巴南,/banan/', '长寿,/changshou/', '黔江,/qianjiang/', '万州,/wanzhou/', '涪陵,/fuling/', '开县,/kaixian/', '城口,/chengkou/', '云阳,/yunyang/', '巫溪,/wuxi/', '奉节,/fengjie/', '巫山,/wushan/', '潼南,/tongnan/', '垫江,/dianjiang/', '梁平,/liangping/', '忠县,/zhongxian/', '石柱,/shizhu/', '大足,/dazu/', '荣昌,/rongchang/', '铜梁,/tongliang/', '璧山,/bishan/', '丰都,/fengdu/', '武隆,/wulong/', '彭水,/pengshui/', '綦江,/qijiang/', '酉阳,/youyang/', '秀山,/xiushan/', '徐汇,/xuhui/', '静安,/jinganqu/', '杨浦,/yangpuqu/', '闵行,/minhang/', '宝山,/baoshan/', '嘉定,/jiading/', '南汇,/nanhui/', '金山,/jinshan/', '青浦,/qingpu/', '松江,/songjiang/', '奉贤,/fengxian/', '崇明,/chongming/', '徐家汇,/xujiahui/', '浦东,/pudong/', '长宁,/changningqu/', '虹口,/hongkou1/', '黄浦,/huangpu1/', '武清,/wuqing/', '宝坻,/baodi/', '东丽,/dongli/', '西青,/xiqing/', '北辰,/beichen/', '宁河,/ninghe/', '汉沽,/hangu/', '静海,/jinghai/', '津南,/jinnan/', '塘沽,/tanggu/', '大港,/dagang/', '蓟州,/tianjinjizhou/', '红桥,/hongqiaoqu/', '河西,/hexiqu/', '河东,/hedongqu/', '河北,/hebeiqu/', '和平,/hepingqu/', '南开,/nankaiqu/', '滨海,/binhaixinqu/', '安庆,/anqing/', '枞阳,/zongyang/', '太湖,/taihu/', '潜山,/qianshan/', '怀宁,/huaining/', '宿松,/susong/', '望江,/wangjiang/', '岳西,/yuexi/', '桐城,/tongcheng1/', '迎江,/yingjiangqu/', '宜秀,/yixiuqu/', '大观,/daguanqu/', '蚌埠,/bengbu/', 以上是关于19岁表弟，暑假接了一个五百的外包。。。的主要内容，如果未能解决你的问题，请参考以下文章