共享单车数据分析

Posted 2021-03-20 foremostxl

共享单车数据分析和共享单车用户行为分析PPT

从数据分析，到数据展示，完成一个完整数据分析项目的全部过程

共享单车由于其符合低碳出行理念，政府对这一新鲜事物也处于善意的观察期。 

2017年12月，共享单车入选2017年民生热词榜。 

2017年12月，ofo率先取消了免费月卡，月卡价格也已调整为20元/月。

2019年4月8日，哈罗单车宣布涨价，这是继小蓝单车、摩拜单车后第三家宣布涨价的共享单车。

2019年年底前，北京共享单车未接入监管平台将被视为违规投放。

项目来自Kaggle链接

1、机器学习步骤

提出问题（Business Understanding ）
理解数据（Data Understanding）
    采集数据
    导入数据
    查看数据集信息
数据清洗（Data Preparation ）
    数据预处理
    特征工程（Feature Engineering）
构建模型（Modeling）
模型评估（Evaluation）
方案实施 （Deployment）
    提交结果到Kaggle
    报告撰写

二、提出问题

影响骑车人数的因素有哪些？

 三、理解数据

3.1导入数据源

import warnings
warnings.filterwarnings(‘ignore‘)
#导入处理数据包
import numpy as np
import pandas as pd
#导入数据
#训练数据集
train = pd.read_csv("train_bike.csv")
#测试数据集
test  = pd.read_csv("test_bike.csv")
#这里要记住训练数据集有891条数据，方便后面从中拆分出测试数据集用于提交Kaggle结果
print (‘训练数据集:‘,train.shape,‘测试数据集:‘,test.shape)

3.2.查看各字段数据类型、缺失值

print(‘训练数据集:‘,train.info(),‘测试数据集:‘,test.info())

 

 

 训练集和测试集没有缺失值

3.3 查看数据集信息

 train.head()

 

 

 test.head()

 

 

 数据说明：

分析：
1.训练数据集：

    总共10886行，12列，各字段均无缺失值
    
    除时间列数据为字符串外其余都为数值型数据：时间的数据格式需要转换为时间序列，进一步处理得到日期和星期的时间数据
    
    count=casual+registered，要探求影响租车量的因素，因而这两列可删去
    
2.测试数据集：

    总共6493行，9列，各字段均无缺失值
    测试数据集完整无需预处理


字段说明
Data Fields

    datetime时间 - 年月日小时
    season季节 - 1 = spring春天, 2 = summer夏天, 3 = fall秋天, 4 = winter冬天
    holiday节假日 - 0：否，1：是
    workingday工作日 - 该天既不是周末也不是假日（0：否，1：是）
    weather天气 - 1:晴天，2:阴天 ，3:小雨或小雪 ，4:恶劣天气（大雨、冰雹、暴风雨或者大雪）
    temp实际温度 - 摄氏度
    atemp体感温度 - 摄氏度
    humidity湿度 - 相对湿度
    windspeed风速 - 风速
    casual - 未注册用户租借数量
    registered - 注册用户租借数量
    count - 总租借数量

将训练集和测试集放一起处理

full =train.append(test,ignore_index=True)
full.head()

 

 

 full.info()

 

 

 四、清洗数据

 

 

 选择子集、列表重命名本例不需要

4.1删除重复值

print(‘删除重复值前大小‘,full.shape)

# 删除重复销售记录
full = full.drop_duplicates()

print(‘删除重复值后大小‘,full.shape)

合并后出现缺失值：主要是casual - 未注册用户租借数量、 registered - 注册用户租借数量
考虑到目前都是注册用户才能使用共享单车，我们删除casual和registered

 

4.2 处理缺失值
没有缺失值

#先备份测试数据集
bikeDf=full

我们删除casual和registered

bikeDf.drop(‘casual‘,axis=1,inplace=True)
bikeDf.drop(‘registered‘,axis=1,inplace=True)
bikeDf.head()

bikeDf.info()

 

 

 （count）这里一列是我们的标签，用来做机器学习预测的，不需要处理这一列

4.3 特征提取(一致化处理)

4.3.1数据分类

‘‘‘
1.数值类型：
  
    temp实际温度 - 摄氏度
    atemp体感温度 - 摄氏度
    humidity湿度 - 相对湿度
    windspeed风速 - 风速
    count - 总租借数量
    
2.时间序列：

   datetime时间 - 年月日小时
   
3.分类数据：
1）有直接类别的

    
    season季节 - 1 = spring春天, 2 = summer夏天, 3 = fall秋天, 4 = winter冬天
    holiday节假日 - 0：否，1：是
    workingday工作日 - 该天既不是周末也不是假日（0：否，1：是）
    weather天气 - 1:晴天，2:阴天 ，3:小雨或小雪 ，4:恶劣天气（大雨、冰雹、暴风雨或者大雪）
    
    
2）字符串类型：可能从这里面提取出特征来，也归到分类数据中

onehot编码的优点可以总结如下：

1、能够处理非连续型数值特征。

2、在一定程度上也扩充了特征。比如性别本身是一个特征，经过one hot编码以后，就变成了男或女两个特征。

对于sex这样 处理后 只两个的特征的 暂时不作  onehot编码处理

4.3.2 数值类型数据不用处理

4.3.3 处理时间序列

from datetime import datetime
#1、日月年拆解
bikeDf[‘year‘]=bikeDf[‘datetime‘].map(lambda s:s.split(‘-‘)[0]).astype(‘int‘)
bikeDf[‘month‘]=bikeDf[‘datetime‘].map(lambda s:s.split(‘-‘)[1]).astype(‘int‘)
bikeDf[‘day‘]=bikeDf[‘datetime‘].map(lambda s:s.split(‘-‘)[2].split()[0]).astype(‘int‘)
bikeDf[‘hour‘]=bikeDf[‘datetime‘].map(lambda s:s.split()[1].split(‘:‘)[0]).astype(‘int‘)
bikeDf[‘weekday‘]=bikeDf[‘datetime‘].map(lambda s:datetime.strptime(s.split()[0],‘%Y-%m-%d‘).weekday()).astype(‘int‘)

bikeDf.info()

 

 

 4.3.4 处理分类数据

我们这里只处理：季节和天气

 bikeDf[‘season‘].head()

 

 

 

#存放提取后的特征
seasonDf = pd.DataFrame()
print(seasonDf )

‘‘‘
使用get_dummies进行one-hot编码，产生虚拟变量（dummy variables），列名前缀是prefix=Embarked
‘‘‘
seasonDf = pd.get_dummies( bikeDf[‘season‘] , prefix=‘season‘ )
seasonDf.head()

seasonDf .rename(columns={‘season_1‘:‘seaon_spring‘,‘season_2‘:‘season_summer‘,‘season_3‘:‘season_autumn‘,‘season_4‘:‘season_winter‘},inplace=True) 

 

seasonDf.head()

 

 

 

#添加one-hot编码产生的虚拟变量（dummy variables）到数据集 bikeDf

bikeDf = pd.concat([bikeDf,seasonDf],axis=1)

‘‘‘


所以这里把season删掉
‘‘‘
bikeDf.drop(‘season‘,axis=1,inplace=True)
bikeDf.head()

天气

#存放提取后的特征
weatherDf = pd.DataFrame()
print(weatherDf)

‘‘‘
使用get_dummies进行one-hot编码，产生虚拟变量（dummy variables），列名前缀是prefix=Embarked
‘‘‘
weatherDf = pd.get_dummies( bikeDf[‘weather‘] , prefix=‘weather‘ )
weatherDf.head()

weatherDf.rename(columns={‘weather_1‘:‘weather_best‘,‘weather_2‘:‘weather_good‘,‘weather_3‘:‘weather_bad‘,‘weather_4‘:‘weather_terrible‘},inplace=True) 

#添加one-hot编码产生的虚拟变量（dummy variables）到数据集 bikeDf

bikeDf = pd.concat([bikeDf,weatherDf],axis=1)

‘‘‘


所以这里把season删掉
‘‘‘
bikeDf.drop(‘weather‘,axis=1,inplace=True)
bikeDf.head()

4.4异常值处理

bikeDf.describe()
#描述指标：查看出“”值不能小于0

 

 

 无异常值

五、构建模型

5.1 特征选择

相关系数法：计算各个特征的相关系数

#相关性矩阵
corrDf = bikeDf.corr() 
corrDf

 

‘‘‘
查看各个特征与生成情况（Survived）的相关系数，
ascending=False表示按降序排列

‘‘‘
corrDf[‘count‘].sort_values(ascending =False)

特征值选择

根据各个特征与（count）的相关系数大小，我们选择了这几个特征作为模型的输入：
hour           
temp               
atemp              
year                
month  
seasonDf
weatherDf
humidity
windspeed

 

#特征选择
full_X = pd.concat([bikeDf[‘hour‘],
                   bikeDf[‘temp‘],
                   bikeDf[‘atemp‘],
                   bikeDf[‘year‘],
                   bikeDf[‘month‘],
                   seasonDf,
                   weatherDf,
                   bikeDf[‘humidity‘],
                   bikeDf[‘windspeed‘],
                      ],axis=1 )
full_X.head()

六、数据可视化

6.1使用热力图分析特征值与

import matplotlib.pyplot as plt
import seaborn as sns

#数据相关系数的一半
mask = np.array(bikeDf_corr)
mask[np.tril_indices_from(mask)] = False
#建立画板
fig=plt.figure(figsize=(12,12))
#建立画纸
ax1=fig.add_subplot(1,1,1)
#使用heatmap
sns.heatmap(bikeDf_corr, mask=mask, ax=ax1,square=False,annot=True)


plt.show()
plt.savefig(‘hot_photo.png‘)

分析得出：

总租借数量(count)成正相关的有：
    hour   
    temp(实际温度)       
    atemp(体感温度)            
    year                
    month  
    seasonDf
总租借数量(count)负相关的有：
    weatherDf
    humidity(湿度)
    windspeed(风速)

6.1租车人数在各特征值下的箱线图

# 季节变量离散化
full_X_1 = pd.concat([full_X,bikeDf[‘count‘]],axis=1)
seasonDict={1:‘Spring‘,2:‘Summer‘,3:‘autumn‘,4:‘Winter‘}
full_X_1[‘season_word‘]=full[‘season‘].map(seasonDict)
full_X_1.head(2)

 

#天气变量离散化
weatherDict={1:‘weather_best‘,2:‘weather_good‘,3:‘weather_bad‘,4:‘weather_terrible‘}
full_X_1[‘weather_word‘]=full[‘weather‘].map(weatherDict)
full_X_1.head(2)

 

fig, axes = plt.subplots(3, 2)
fig.suptitle("ShareBike Analysis",fontsize=20,fontweight="bold")
sns.set(style=‘darkgrid‘)
fig.set_size_inches(15, 20)

ax1=sns.boxplot(data=full_X_1,y=‘count‘,orient=‘v‘,ax=axes[0][0])#count箱线图
ax2=sns.boxplot(data=full_X_1,x=‘hour‘,y=‘count‘,orient=‘v‘,ax=axes[0][1])

ax3=sns.boxplot(data=full_X_1,x=‘year‘,y=‘count‘,orient=‘v‘,ax=axes[1][0])
ax4=sns.boxplot(data=full_X_1,x=‘month‘,y=‘count‘,orient=‘v‘,ax=axes[1][1])
ax5=sns.boxplot(data=full_X_1,x=‘season_word‘,y=‘count‘,orient=‘v‘,ax=axes[2][0])
ax6=sns.boxplot(data=full_X_1,x=‘weather_word‘,y=‘count‘,orient=‘v‘,ax=axes[2][1])




axes[0][0].set(ylabel=‘Count‘,title="Box Plot On Count ")
axes[0][1].set(xlabel=‘hour‘, ylabel=‘Count‘,title="Box Plot On Count Across hour")

axes[1][0].set(xlabel=‘year‘, ylabel=‘Count‘,title="Box Plot On Count Across year")
axes[1][1].set(xlabel=‘month‘, ylabel=‘Count‘,title="Box Plot On Count Across month")
axes[2][0].set(xlabel=‘season_word‘, ylabel=‘Count‘,title="Box Plot On Count Across season_word")
axes[2][1].set(xlabel=‘weather_word‘, ylabel=‘Count‘,title="Box Plot On Count Across weather_word")

plt.savefig(‘subplots_photo1.png‘)

 

 

分析得出：
1、租车人数在150左右
2、一天中，出现两个用车高峰，一个是上午8点、一个是下午17点。分析原因可能是早晚高峰出行，导致用车人数增多。
3、秋季与夏季天气温暖租车量较高，春天最少
4、2012年相比2011年，租车人数中位数上升，共享单车出行方式市场越好
5、天气好时的用车中位数明显高于坏天气的中位数

 

# 由于
temp(实际温度)       
atemp(体感温度)   
humidity(湿度)
windspeed(风速)
参数较多，不方便用箱型图

6.2查看温度、体感温度、湿度与风速的分布情况

fig, axes = plt.subplots(2, 2)
fig.set_size_inches(12,10)

sns.distplot(full_X_1[‘temp‘],ax=axes[0,0])
sns.distplot(full_X_1[‘atemp‘],ax=axes[0,1])
sns.distplot(full_X_1[‘humidity‘],ax=axes[1,0])
sns.distplot(full_X_1[‘windspeed‘],ax=axes[1,1])

axes[0,0].set(xlabel=‘temp‘,title=‘Distribution of temp‘,)
axes[0,1].set(xlabel=‘atemp‘,title=‘Distribution of atemp‘)
axes[1,0].set(xlabel=‘humidity‘,title=‘Distribution of humidity‘)
axes[1,1].set(xlabel=‘windspeed‘,title=‘Distribution of windspeed‘)
plt.savefig(‘distplot_1.png‘)

通过这个分布可以发现一些问题，比如风速为什么0的数据很多，而观察统计描述发现空缺值在1--6之间，

从这里似乎可以推测，数据本身或许是有缺失值的，但是用0来填充了，

但这些风速为0的数据会对预测产生干扰，希望使用随机森林根据相同的年份，月份，季节，温度，湿度等几个特征来填充一下风速的缺失值。

填充之前看一下非零数据的描述统计。

full_X_1[full_X_1["windspeed"]!=0]["windspeed"].describe()

 

 

 

from sklearn.ensemble import RandomForestRegressor

full_X_1["windspeed_rfr"]=full_X_1["windspeed"]
# 将数据分成风速等于0和不等于两部分
dataWind0 = full_X_1[full_X_1["windspeed_rfr"]==0]
dataWindNot0 = full_X_1[full_X_1["windspeed_rfr"]!=0]
#选定模型
rfModel_wind = RandomForestRegressor(n_estimators=1000,random_state=42)
# 选定特征值

windColumns = [‘seaon_spring‘,‘season_summer‘,‘season_autumn‘,‘weather_best‘,‘weather_good‘,‘weather_bad‘,‘weather_terrible‘,‘season_winter‘,"humidity","month","temp","year","atemp"]
# 将风速不等于0的数据作为训练集，fit到RandomForestRegressor之中
rfModel_wind.fit(dataWindNot0[windColumns], dataWindNot0["windspeed_rfr"])
#通过训练好的模型预测风速
wind0Values = rfModel_wind.predict(X= dataWind0[windColumns])
#将预测的风速填充到风速为零的数据中
dataWind0.loc[:,"windspeed_rfr"] = wind0Values
#连接两部分数据
full_X_1 = dataWindNot0.append(dataWind0)
full_X_1.reset_index(inplace=True)
full_X_1.drop(‘index‘,inplace=True,axis=1)

 

fig, axes = plt.subplots(2, 2)
fig.set_size_inches(12,10)

sns.distplot(full_X_1[‘temp‘],ax=axes[0,0])
sns.distplot(full_X_1[‘atemp‘],ax=axes[0,1])
sns.distplot(full_X_1[‘humidity‘],ax=axes[1,0])
sns.distplot(full_X_1[‘windspeed_rfr‘],ax=axes[1,1])

axes[0,0].set(xlabel=‘temp‘,title=‘Distribution of temp‘,)
axes[0,1].set(xlabel=‘atemp‘,title=‘Distribution of atemp‘)
axes[1,0].set(xlabel=‘humidity‘,title=‘Distribution of humidity‘)
axes[1,1].set(xlabel=‘windspeed‘,title=‘Distribution of windspeed‘)
plt.savefig(‘distplot_2.png‘)

temp(实际温度)  主要分布在10到20
atemp(体感温度) 主要分布在20-30
humidity(湿度)主要分布在40-80
windspeed_rfr(风速)主要分布在5-10

full_X_1[[‘windspeed‘,‘windspeed_rfr‘]].describe()

可视化并观察数据

6.3整体观察

sns.pairplot(full_X_1 ,x_vars=[‘hour‘,‘year‘,‘month‘,‘season_word‘,‘weather_word‘,‘windspeed_rfr‘,‘humidity‘,‘temp‘,‘atemp‘] ,
             y_vars=[‘count‘] , plot_kws={‘alpha‘: 0.5})
plt.savefig(‘pairplot.png‘)

 

 

时间hour 出现两个峰值
时间year 租车数量逐年提升
月份month 租车数量集中在5-10月
季节season 租车重数在秋天
天气wheather 天气好坏直接影响租车数量
风速windspeed 与count成负相关
湿度humidity 租车数量集中在50
温度temp 租车数量集中在20-30
体表温度atemp 猪车数量集中在20-30

6.4逐项分析 折线图

6.4.1时间和count关系

#设置画框尺寸
fig = plt.figure(figsize=(18,6))
day_df = full_X_1.groupby([‘hour‘], as_index=True).agg({‘count‘:‘mean‘})
day_df.plot(figsize=(15,5),title = ‘The average number of rentals initiated per hour in the working day‘)

分析：

每天上下班时间是两个用车高峰，而中午也会有一个小高峰，猜测可能是外出午餐的人

6.4.2 温度对租赁数量的影响
先观察温度的走势

#设置画框尺寸
fig = plt.figure(figsize=(18,6))
day_df = full_X_1.groupby([‘month‘], as_index=True).agg({‘count‘:‘mean‘})
day_df.plot(figsize=(15,5),title = ‘The average number of rentals initiated per month‘)

分析：

2-4月租车人数逐月提升

6-10达到峰值并趋于平缓

10月后租车人数出现下降

6.4.3 天气

#设置画框尺寸
fig = plt.figure(figsize=(18,6))
day_df = full_X_1.groupby([‘weather_word‘], as_index=True).agg({‘count‘:‘mean‘})
day_df.plot(figsize=(15,5),title = ‘The average number of rentals initiated per weather_word‘)

分析：

租车人数受天气好坏影响很大

6.4.4 风速

风速对出行情况的影响
先来看下两年时间风速的变化趋势

#设置画框尺寸
fig = plt.figure(figsize=(18,6))
day_df = full_X_1.groupby([‘count‘], as_index=True).agg({‘windspeed_rfr‘:‘mean‘})
day_df.plot(figsize=(15,5),title = ‘The average number of rentals initiated per windspeed‘)

观察一下租赁人数随风速变化趋势，考虑到风速特别大的时候很少，如果取平均值会出现异常，所以按风速对租赁数量取最大值。

fig = plt.figure(figsize=(18,6))
windspeed_rentals = full_X_1.groupby([‘windspeed‘], as_index=True).agg({‘count‘:‘max‘})
windspeed_rentals .plot(figsize=(15,5),title = ‘Max number of rentals initiated per hour in different windspeed‘)

分析：

大于20租车数量降低，小于20租车人数始终保持在较高数量

 

6.4.5湿度humidity 

fig = plt.figure(figsize=(18,6))
windspeed_rentals = full_X_1.groupby([‘humidity‘], as_index=True).agg({‘count‘:‘mean‘})
windspeed_rentals .plot(figsize=(15,5),title = ‘Max number of rentals initiated per hour in different humidity‘)

分析：

湿度为20租车人数出现峰值，大于20之后随之降低

 

6.4.6温度temp

fig = plt.figure(figsize=(18,6))
windspeed_rentals = full_X_1.groupby([‘temp‘], as_index=True).agg({‘count‘:‘mean‘})
windspeed_rentals .plot(figsize=(15,5),title = ‘Max number of rentals initiated per hour in different temp ‘)

分析：

0-35度租车数量随着温度的升高而增加

35度后租车人数随温度的升高而减少

 

6.4.6体表温度atemp 

fig = plt.figure(figsize=(18,6))
windspeed_rentals = full_X_1.groupby([‘atemp‘], as_index=True).agg({‘count‘:‘mean‘})
windspeed_rentals .plot(figsize=(15,5),title = ‘Max number of rentals initiated per hour in different atemp ‘)

分析：

0-40度租车数量随着体表温度的升高而增加

40度后租车人数随体表温度的升高而减少

7、构建模型

#原始数据集有891行
sourceRow=10886

 

#原始数据集：特征
source_X = full_X.loc[0:sourceRow-1,:]

#原始数据集：标签
source_y = full.loc[0:sourceRow-1,‘count‘]   

#预测数据集：特征
pred_X = full_X.loc[sourceRow:,:]

 

‘‘‘
确保这里原始数据集取的是前891行的数据，不然后面模型会有错误
‘‘‘
#原始数据集有多少行
print(‘原始数据集有多少行:‘,source_X.shape[0])
#预测数据集大小
print(‘原始数据集有多少行:‘,pred_X.shape[0])

7.1 建立训练数据集和测试数据集

from sklearn.model_selection import train_test_split

#建立模型用的训练数据集和测试数据集
train_X, test_X, train_y, test_y = train_test_split(source_X ,
                                                    source_y,
                                                    train_size=0.8)

#输出数据集大小
print (‘原始数据集特征：‘,source_X.shape, 
       ‘训练数据集特征：‘,train_X.shape,
      ‘测试数据集特征：‘,test_X.shape)

print (‘原始数据集标签：‘,source_y.shape, 
       ‘训练数据集标签：‘,train_y.shape,
      ‘测试数据集标签：‘,test_y.shape)

7.2 训练模型

随机森林回归

#第1步：导入算法
from sklearn.ensemble import RandomForestRegressor
#第2步：创建模型：逻辑回归（logisic regression）
model = RandomForestRegressor()
#第3步：训练模型
model.fit( train_X , train_y )

7.3评估模型

model.score(test_X , test_y )

7.4方案实施（Deployment）

 

pred_Y = model.predict(pred_X)

‘‘‘
生成的预测值是浮点数（0.0,1,0）
但是Kaggle要求提交的结果是整型（0,1）
所以要对数据类型进行转换
‘‘‘
pred_Y=pred_Y.astype(int)
#乘客id

# data = full_X.loc[sourceRow:,[‘hour‘,‘temp‘,‘atemp‘,‘year‘,‘month‘,‘seaon_spring‘,‘season_summer‘,‘season_autumn‘,‘season_winter‘
#                                     ,‘weather_best‘,‘weather_good‘,‘weather_bad‘,‘weather_terrible‘,‘humidity‘,‘windspeed‘]]

# frame2 = pd.DataFrame(data,index=[‘one‘,‘two‘,‘three‘,‘four‘,‘five‘],columns=[‘year‘,‘state‘,‘pop‘,‘debt‘])
datatime = bikeDf.loc[sourceRow:,[‘datetime‘]]

li = []
for i in range(10886,17379):
    li.append(i)
    

#数据框：乘客id，预测生存情况的值
pred = pd.DataFrame( 
     {‘count‘: pred_Y},index=li)
#10886

predDf = pd.concat([datatime,pred],axis=1)

predDf.shape
predDf.head()
#保存结果
predDf.to_csv( ‘bike_pred.csv‘ , index = False )

 

上传预测结果到kaggle，得到分数

八、总结和建议

总结：

对于相关性高的特征值

1、时间hour ：每天上下班时间是两个用车高峰，而中午也会有一个小高峰，一个是上午8点、一个是下午17点
2、时间year ：租车数量逐年提升
3、月份month 、季节season 租车数量集中在5-10月，租车重数在夏天和秋天

4、天气wheather ：天气好坏直接影响租车数量
5、风速windspeed ：大于20租车数量降低，小于20租车人数始终保持在较高数量
6、湿度humidity ：湿度为20租车人数出现峰值，大于20之后随之降低
7、温度temp ：

0-35度租车数量随着温度的升高而增加

35度后租车人数随温度的升高而减少

8、体表温度atemp： 

0-40度租车数量随着体表温度的升高而增加

40度后租车人数随体表温度的升高而减少

建议：

一、对于租车公司：

重点运营集中在：

1、上下班高峰期

2、重点季节是夏季和秋季、重点月份5-10月

对于淡季：

1、要重点营销，采取优惠，月卡等优惠手段促进租车数量

2、做好共享单车的保养等后勤工作

二、对于个人

明确单车使用高峰期，提前做好准备，以免耽误正常出行

 

(●‘?‘●)如果对您有用，别忘了点个赞鼓励一下~