知乎用户地域分析

Posted 2020-07-03 Phil Chow

继之前爬取知乎用户之后，目前爬取到3.5万条数据，但是在这些数据中有一些是没有完整填写用户信息的。检索数据库中地理位置不为空的用户，进行地域统计。

 1 # -*- coding: utf-8 -*-
 2 
 3 import re
 4 import sqlite3
 5 import sys
 6 reload(sys)
 7 sys.setdefaultencoding(‘utf-8‘)
 8 
 9 class CountCollect(object):
10     """docstring for CountCollect"""
11     
12     pro_city = {}
13     city_pro = {}
14     prolist = []
15     citylist = []
16     conn = sqlite3.connect(‘zhihuuser.db‘)
17     conn.text_factory = str
18     cur = conn.cursor()
19 
20     def getss(self):
21         shengshi = open(‘shengshi.txt‘,‘r‘)
22         for line in shengshi.readlines():
23             province = line.split(":")[0]
24             # print province
25             self.prolist.append(province)
26             self.pro_city.setdefault(province,{})
27             self.pro_city[province].setdefault(‘number‘,0)            
28             self.pro_city[province].setdefault(‘cities‘,{})
29             cities = line.split(‘:‘)[-1].split(‘\n‘)[0].split(‘ ‘)
30             # print cities
31             for city in cities:
32                 # print city,type(city)
33                 self.citylist.append(city)
34                 self.pro_city[province][‘cities‘].setdefault(city,0)
35                 self.city_pro[city] = province
36         # print self.prolist
37         # for i in self.citylist:
38         #     print i
39         
40 
41     def getlocation(self):
42         # 从数据库中检索出数据
43         result = self.cur.execute(‘select location from userstb 
44             where location is not NULL‘).fetchall()
45         string = []
46         for line in result:
47             try:
48                 string.append(line[0].encode("gbk"))
49             except Exception, e:
50                 string.append(line[0])
51         ww = open(‘location.txt‘,‘a‘)
52         for x in string:
53             ww.write(x)
54             ww.write(‘\n‘)
55         # 符合省
56         for pro in self.prolist:
57             for x in string:
58                 if re.search(pro,x):
59                     print "%s----%s" %(pro,x)
60                     self.pro_city[pro][‘number‘] += 1
61                 # 符合市
62         for cit in self.citylist:
63             for x in string:
64                 if re.search(cit,x):
65                     print "%s----%s" %(cit,x)
66                     pro = self.city_pro[cit]
67                     self.pro_city[pro][‘number‘] += 1
68                     self.pro_city[pro][‘cities‘][cit] += 1
69         
70         
71         keys = self.pro_city.keys()
72         r = open(‘result2.txt‘,‘a‘)
73         for key in keys:
74             # print key,type(key)
75             # print cmp(‘直辖市‘,key.decode(‘gbk‘))
76             if cmp(key.decode(‘gbk‘),‘直辖市‘)==0 or 
77                         cmp(key.decode(‘gbk‘),‘港澳台‘)==0:
78                 for city in self.pro_city[key][‘cities‘]:
79                     print city, self.pro_city[key][‘cities‘][city]
80                     r.write("{name:‘")
81                     r.write(city)
82                     r.write("‘,value: ")
83                     r.write(str(self.pro_city[key][‘cities‘][city]))
84                     r.write("},")
85                     r.write(‘\n‘)
86             else:
87                 print key, self.pro_city[key][‘number‘]
88                 r.write("{name:‘")
89                 r.write(key)
90                 r.write("‘,value: ")
91                 r.write(str(self.pro_city[key][‘number‘]))
92                 r.write("},")
93                 r.write(‘\n‘)
94 
95 
96 if __name__ == ‘__main__‘:
97     cc = CountCollect()
98     cc.getss() #生成省市地域字典
99     cc.getlocation() #分类统计

其中的shengshi.txt是省市的列表，文件如下：

直辖市:北京 上海 天津 重庆
河北:石家庄 唐山 秦皇岛 邯郸 邢台 保定 张家口 承德 沧州 廊坊 衡水
山西:太原 大同 阳泉 长治 晋城 朔州 晋中 运城忻州 临汾 吕梁
内蒙古:呼和浩特 包头 乌海 赤峰 通辽 鄂尔多斯 呼伦贝尔 巴彦淖尔 乌兰察布 兴安 锡林郭勒 阿拉善
辽宁:沈阳 大连 鞍山 抚顺 本溪 丹东 锦州 营口 阜新 辽阳 盘锦 铁岭 朝阳 葫芦岛
吉林:长春 吉林 四平 辽源 通化 白山 松原 白城 延边
黑龙江:哈尔滨 齐齐哈尔 鸡西 鹤岗 双鸭山 大庆 伊春 佳木斯 七台河 牡丹江 黑河 绥化 大兴安岭
江苏:南京 无锡 徐州 常州 苏州 南通 连云港 淮安 盐城 扬州 镇江 泰州 宿迁
浙江:杭州 宁波 温州 嘉兴 湖州 绍兴 金华 衢州 舟山 台州 丽水
安徽:合肥 芜湖 蚌埠 淮南 马鞍山 淮北 铜陵 安庆 黄山 滁州 阜阳 宿州 巢湖 六安 亳州 池州 宣城
福建:福州 厦门 莆田 三明 泉州 漳州 南平 龙岩 宁德
江西:南昌 景德镇 萍乡 九江 新余 鹰潭 赣州 吉安 宜春 抚州 上饶
山东:济南 青岛 淄博 枣庄 东营 烟台 潍坊 威海 济宁 泰安 日照 莱芜 临沂 德州 聊城 滨州 菏泽
河南:郑州 开封 洛阳 平顶山 焦作 鹤壁 新乡 安阳 濮阳 许昌 漯河 三门峡 南阳 商丘 信阳 周口 驻马店
湖北:武汉 黄石 襄樊 十堰 荆州 宜昌 荆门 鄂州 孝感 黄冈 咸宁 随州 恩施
湖南:长沙 株洲 湘潭 衡阳 邵阳 岳阳 常德 张家界 益阳 郴州 永州 怀化 娄底 湘西
广东:广州 深圳 珠海 汕头 韶关 佛山 江门 湛江 茂名 肇庆 惠州 梅州 汕尾 河源 阳江 清远 东莞 中山 潮州 揭阳云浮
广西:南宁 柳州 桂林 梧州 北海 防城港 钦州 贵港 玉林 百色 贺州 河池 来宾 崇左
海南:海口 三亚
四川:成都 自贡 攀枝花 泸州 德阳 绵阳 广元 遂宁 内江 乐山 南充 宜宾 广安 达州 眉山 雅安 巴中 资阳 阿坝 甘孜凉山
贵州:贵阳 六盘水 遵义 安顺 铜仁 毕节 黔西南 黔东南 黔南
云南:昆明 曲靖 玉溪 保山 昭通 丽江 普洱 临沧 文山 红河 西双版纳 楚雄 大理 德宏 怒江 迪庆
西藏:拉萨 昌都 山南 日喀则 那曲 阿里 林芝
陕西:西安 铜川 宝鸡 咸阳 渭南 延安 汉中 榆林 安康 商洛
甘肃:兰州 嘉峪关 金昌 白银 天水 武威 张掖 平凉 酒泉 庆阳 定西 陇南 临夏 甘南
青海:西宁 海东 海北 黄南 海南 果洛 玉树 海西
宁夏:银川 石嘴山 吴忠 固原 中卫
新疆:乌鲁木齐 克拉玛依 吐鲁番 哈密 和田 阿克苏 喀什 克孜勒苏柯尔克孜 巴音郭楞蒙古 昌吉 博尔塔拉蒙古 伊犁哈萨克塔城 阿勒泰
港澳台:香港 澳门 台湾

生成result2.txt文件结构如下，为何要生成如此结构的文件，下文有用

{name:‘贵州‘,value: 23},
{name:‘黑龙江‘,value: 88},
{name:‘安徽‘,value: 194},
{name:‘青海‘,value: 24},
{name:‘宁夏‘,value: 8},
{name:‘浙江‘,value: 637},
{name:‘广东‘,value: 1281},
{name:‘河北‘,value: 123},
{name:‘江西‘,value: 77},
{name:‘辽宁‘,value: 202},
{name:‘湖北‘,value: 380},
{name:‘福建‘,value: 226},
{name:‘陕西‘,value: 273},
{name:‘香港‘,value: 48},
{name:‘台湾‘,value: 4},
{name:‘澳门‘,value: 3},
{name:‘吉林‘,value: 81},
{name:‘山西‘,value: 70},
{name:‘西藏‘,value: 2},
{name:‘河南‘,value: 185},
{name:‘甘肃‘,value: 40},
{name:‘湖南‘,value: 196},
{name:‘江苏‘,value: 722},
{name:‘海南‘,value: 40},
{name:‘山东‘,value: 360},
{name:‘新疆‘,value: 27},
{name:‘广西‘,value: 77},
{name:‘天津‘,value: 177},
{name:‘重庆‘,value: 142},
{name:‘北京‘,value: 1366},
{name:‘上海‘,value: 913},
{name:‘云南‘,value: 46},
{name:‘内蒙古‘,value: 39},
{name:‘四川‘,value: 340},

使用echart网站的地图图例，生成如下图所示地域结构：

颜色越深，表示当前区域的用户数越多。