pandas实战——对星巴克数据的分析

Posted 2020-12-27 sench

一、实验对象

实验对象为星巴克在全球的门店数据，我们可以使用pandas对其进行简单的分析，如分析每个国家星巴克的数量，根据门店数量对国家进行排序等。

二、数据分析

1、读取数据并获取数据行列数

首先读取数据：

import numpy as np
import pandas as pd

starbucks = pd.read_csv("D:\\directory.csv")
print "数据的列标签如下："
print starbucks.columns
print "每列的数据类型："
print starbucks.dtypes
print "文件行数："
print len(starbucks.index)
print "文件列数:"
print starbucks.columns.size

输出：

数据的列标签如下：
Index([u'Brand', u'Store Number', u'Store Name', u'Ownership Type',
       u'Street Address', u'City', u'State/Province', u'Country', u'Postcode',
       u'Phone Number', u'Timezone', u'Longitude', u'Latitude'],
      dtype='object')
每列的数据类型：
Brand              object
Store Number       object
Store Name         object
Ownership Type     object
Street Address     object
City               object
State/Province     object
Country            object
Postcode           object
Phone Number       object
Timezone           object
Longitude         float64
Latitude          float64
dtype: object
文件行数：
25600
文件列数:
13

可以看到文件共有25600条数据，每条数据有13列。

2、查看数据

#查看文件的前五行数据
print starbucks.head()

输出：

可以通过DataFrame.head(n)来获取数据帧的前n行数据，未指定n则返回前5行，同样的函数还有DataFrame.tail(n)。上图中有些数据为NaN，如果NaN对数据处理有影响的话可以使用DataFrame.fillna(value)将NaN替换成value，或者使用DataFrame.dropna()删除含有NaN的行。本文将不对NaN做处理。

3、按照星巴克数量由多到少对国家排序

要实现这个功能需要用到DataFrame.groupby()函数，相当于sql中的group by。在本例中可以使用starbucks.groupby(["Country"])来对星巴克按国家分组，然后使用starbucks.groupby(["Country"]).size()求得每个国家有多少星巴克。

df = starbucks.groupby(["Country"]).size().reset_index()

输出：

Country
AD        1
AE      144
AR      108
AT       18
AU       22
AW        3
AZ        4
BE       19
BG        5
BH       21
BN        5
BO        4
BR      102
BS       10
CA     1468
CH       61
CL       96
CN     2734
CO       11
CR       11
CW        3
CY       10
CZ       28
DE      160
DK       21
EG       31
ES      101
FI        8
FR      132
GB      901
      ...  
LU        2
MA        9
MC        2
MX      579
MY      234
NL       59
NO       17
NZ       24
OM       12
PA        5
PE       89
PH      298
PL       53
PR       24
PT       11
QA       18
RO       27
RU      109
SA      102
SE       18
SG      130
SK        3
SV       11
TH      289
TR      326
TT        3
TW      394
US    13608
VN       25
ZA        3
Length: 73, dtype: int64

然后我们将上一步的结果使用reset_index()方法封装成一个新的DataFrame，然后对这个DataFrame排序即可。

#根据每个国家的国家名和星巴克数量重建为一个DataFrame
df = starbucks.groupby(["Country"]).size().reset_index()
#查看df的前5行数据
print df.head()
#修改列名（将“0”改为“Nums”）
df.columns=["Country", "Nums"]
#按照星巴克数量由多到少对国家排序
df.sort_values(by=["Nums"], ascending=False).head()

输出：

 Country    0
0      AD    1
1      AE  144
2      AR  108
3      AT   18
4      AU   22
   Country   Nums
70      US  13608
17      CN   2734
14      CA   1468
37      JP   1237
39      KR    993

可以看到，美国的星巴克最多，有13608家，其次是中国、加拿大、日本、韩国。由于篇幅限制只显示了排序后的5行，可以去掉head()显示全部数据。

4、按星巴克数量多少对中国城市排序

首先要在所有国家的数据中选择中国的数据，可以使用布尔索引实现这一目的：

#选择中国的数据
df = starbucks[starbucks["Country"]=="CN"]
#统计每个城市的星巴克数量
df.groupby(["City"]).size()

输出：

City
Admiralty            2
Causeway Bay         5
Central              1
Chaiwan              1
Changshu             1
Changzhou            1
Fortress Hill        1
Hangzhou             2
Hong Kong          104
Jiaxing              2
Jinhua               1
Kowloon             19
Kowloon Bay          1
Kowloon Tong         1
Lantau Island        2
Macau               13
Mong Kok             2
N.T.                 2
Nanjing              1
Nantong              4
New Territories      7
Ningbo               3
Quarry Bay           3
ShangHai             2
Shanghai             2
Shantin              1
Stanley              1
Suzhou               3
Tai Koo Shing        1
Tin Hau              1
                  ... 
萧山市                  1
蚌埠市                  1
衡阳市                  3
衢州市                  3
襄樊市                  1
襄阳市                  2
西宁市                  3
西安市                 40
诸暨市                  2
贵阳                   8
贵阳市                  1
连云港                  1
连云港市                 3
邢台市                  1
邯郸                   1
郑州市                 18
重庆市                 41
金华市                 11
银川市                  2
镇江市                  9
长春市                 10
长沙市                 26
阳江市                  1
青岛市                 28
靖江市                  2
鞍山市                  3
马鞍山                  3
高邮市                  1
黄石市                  1
龙岩市                  2
Length: 197, dtype: int64

可以看到数据不是很规范，城市名称既有中文又有英文，而且上海被存储为ShangHai和Shanghai。对于上海的问题，我们将拼音全部改为小写即可；对于中文和拼音混用的问题，可以使用相应的python库（如库pinyin）将中文转换为拼音后作统计。
首先安装库pinyin，如果是在命令行里运行的python，直接pip install pinyin，安装成功后import pinyin即可。我是在jupyter notebook里面写的，外部pip安装的模块无法导入，所以使用下面的方法：

import pip
pip.main(['install', 'pinyin'])

安装后导入并做相应的处理：

import pinyin
#选择中国的数据
df = starbucks[starbucks["Country"]=="CN"]
#需要拷贝一下，不然会出现“A value is trying to be set on a copy of a slice from a DataFrame.”的警告
df1 = df.copy()
#将城市名改为小写
df1["City"] = df1["City"].apply(lambda x:x.lower())
df2 = df1.copy()
#将汉字城市名改为小写拼音
df2["City"] = df2["City"].apply(lambda x:pinyin.get(x, format="strip", delimiter="")[0:-3]) #去掉“市”的拼音
#统计每个城市的星巴克数量
df2.groupby(["City"]).size()

输出：

City
admira            2
anshan            3
bangbu            1
baoding           3
baoji             1
baotou            4
beihai            1
beijing         234
causeway          5
cent              1
chai              1
chang             1
changchun        10
changsha         26
changshu          6
changz            1
changzhou        26
chengde           1
chengdu          98
cixi              5
dali              1
dalian           25
danzhou           1
daqing            2
deyang            2
dezhou            2
dongguan         31
dongyang          1
dongying          1
fenghua           2
               ... 
yancheng          6
yangjiang         1
yangzhong         1
yangzhou         12
yanji             1
yantai            8
yichang           4
yinchuan          2
yingkou           2
yiwu              2
yixing            3
yuen l            2
yueyang           2
yuyao             1
zhangjia          1
zhangjiag         1
zhangjiagang      1
zhangzhou         1
zhanjiang         4
zhaoqing          1
zhengzhou        18
zhenjiang         9
zhongqing        41
zhongshan        11
zhous             1
zhoushan          5
zhuhai           14
zhuji             2
zhuzhou           2
zibo              5
Length: 192, dtype: int64

这里使用到了DataFrame.apply(func)方法，该方法将函数func应用到整个DataFrame上，也可以通过指定axis参数来指定每一行或每一列的数据应用函数func。
接下来使用reset_index方法将上一步得到的数据封装到一个新的DataFrame中排序即可。

df3 = df2.groupby(["City"]).size().reset_index()
#更改列索引名称
df3.columns = ["City", "Nums"]
print df3.sort_values(by=["Nums"], ascending=False).head()

输出：

          City  Nums
121   shanghai   542
7      beijing   234
46    hangzhou   117
126   shenzhen   113
36   guangzhou   106

可以看到在中国，上海的星巴克最多，有542家，其次的是北京、杭州、深圳和广州，去掉.head()可以查看所有城市的数据。

三、总结

本文主要按照星巴克数量对国家和中国的城市进行排序，用到的知识有：

• 使用DataFrame.groupby()方法对DataFrame按照一列或多列分组；
• 使用布尔索引选择数据；
• 使用DataFrame.reset_index()方法重新指定索引（也就是把原DataFrame的行索引也当做数据并重新指定索引），该方法返回一个新的DataFrame；
• 通过对DataFrame.columns的赋值，重新指定列标签；
• 使用DataFrame.apply(func)方法，将函数func应用到整个DataFrame上，也可以通过指定axis参数来指定每一行或每一列的数据应用函数func。
• 使用DataFrame.sort()方法对DataFrame按照某一列或者某几列进行排序。

我们也可以看到一些pandas的操作可以与SQL操作练习起来：

1、Where语句

在上文中我们使用布尔索引选择了中国的数据df = starbucks[starbucks["Country"]=="CN"]，这一点很像SQL里面的where语句select * from starbucks where Country="CN"。

2、Select语句

starbucks有很多列，如Country，City，Brand，Postcode等，如果我们要从所有列中选择两列Country和City，则pandas可以使用df = starbucks[["Country", "City"]]，与之对应的是SQL中的select语句select Country, City from starbucks;

3、Group by语句

上文中通过国家分组，pandas使用DataFrame.groupby()方法starbucks.groupby(["Country"])，对应的为SQL中的select * from starbucks group by Country。