2020中国高校计算机大赛·华为云大数据挑战赛--热身赛--赛题分析数据理解

Posted 2020-11-30 viki650

一、赛题理解　　

　　本次比赛任务是利用历史数据并结合地图信息

　　预测五和张衡交叉路口  未来一周  周一（2019年2月11日）和周四（2019年2月14日）两天  的5:00-21:00通过wuhe_zhangheng路口4个方向的车流量总和。

　　要求模型输出格式如下：   

　　　　　　　　　　{"data":{"resp_data":{"wuhe_zhangheng":[1,4,5,6,4...]}}}

　　从5:00开始每5min的预测数据，第一个数据为5:00-5:05的流量值，最后一个数据为20:55-21:00。

　　两天的数据按时间先后放在一起，总共有384个数据。

　　

　　预测输入形式：输入需要预测的日期，按照赛题，输入 {"req_data":["2019-2-11,2019-2-14"]} 　　　　　　　　　

 

　　预测数据形式：一条道路，一天，四个方向总和，每五分钟预测一次，一天就有60 * 24 / 5 = 288 条记录，输出5:00 - 21:00这16个小时的数据，便是288/24 * 16 = 192 条数据

　　　　　　　　　预测一天输出结果为 1 * 192 ，两天便是 1 * （192 * 2 ）=  1 * 384

 

　　注意点：预测的是一周中两天的数据，并且这两天都是独立的，没有前后数据，这意味着很难用基于时间顺序流进行预测（需要输入预测值之前一段时间的数据）。

　　　　　　之前看很多交通预测论文，预测未来数据时，会将连续历史信息作为默认信息

　　　　　　比如预测T时段的信息，那么T-1、T-2、T-3 ……等前段的数据都是已知的，并且是作为输入送到模型的。

　　　　　　交通预测理论分析，和物理实验一样，做了很多假设，面对现实，未免会有误差。（同时也说明我的能力太菜了……这个问题应该是可以通过对模型构建来解决，但是我想了几天，脑阔疼）

 

二、原始数据分析

　　官方数据：  4周（2019.1.12 – 2019.2.8）深圳龙岗区坂田街道交通流量历史数据 

　　数据形式：

　　　　

　　

　　其中，time为上述格式时间字符串，cross为路口名，direction为车流起始方向，leftFlow是左转车流，straightFlow是直行车流。

　　说明：

　　（1） 十字路口包含四个方向车流数据，此处未全部列出。

　　（2） 路口名称分别为：五和路、张衡路、稼先路、隆平路、冲之大道。可以通过但不限于百度地图等地图软件获取地图路网信息。

　　（3） 因为右转车流不受信号灯控制，因此未做统计。

 

　　数据理解:

　　　　官方说明给出了五个路口，但是实际上有一条冲之-贝尔路口没有说明。

　　　　这些路口分别为：冲之-贝尔路口、冲之-稼先路口、冲之-隆平路口、五和-稼先路口、五和-隆平路口、五和-张衡路口这六条。

　　　　其中四条路口为十字路口、两条路口为三叉路口。所以每一天都会有4*4 + 2*3 = 22个方向的数据，每个方向记录每隔五分钟的交通流，为288条数据。

　　　　官方给出4周，也就是 4 * 7 = 28 天，【28，22，288】

 

三、官方baseline 数据处理

　　　　数据处理方式一般是需要根据模型来变动。

　　　　官方baseline是根据梯度提升决策树进行预测，可以看作是回归模型，根据输入特征值{Xi : i = 1,2,3,……n}，获得回归结果（Y）

　　　　baseline只使用了五和-张衡路口的数据，【28，4，288】 = 32256，但是真实提取数据只有29036条数据，说明28天的数据中存在缺失。（若使用时间顺序预测，那么需要补充这部分数据）

　　　　baseline从每一天的日期中，提取出了两个特征，X1 = 星期/6（X1为一个数值，取值范围是【0，1，2，3，4，5，6】/ 6 = 【0，0.167，0.333，0.5，0.667，0.833，1】）

　　　　　　　　　　　　　　　　　　　　　　　　　 　X2 = 每5分钟的时刻  【0，5，10，15，……，23*60 + 55】/（24*60） （【1*288】）

　　　　　　　　　　　　　　　　　　　　预测目标：Y = number   【1*288】

　　　　baseline的模型输入：（ X1 , X2（i））输出：Y（i）

 

　　　　所以官方baseline数据处理主要就是通过原始数据生成这两个特征。

　　　　首先，读取原始数据，将五和-张衡路口数据中时间和交通流全部提取，大小为【29036，2】　　　　　　

def read_file(path, filename):
    calfile = os.path.join(path, filename)
    original = pd.read_csv(calfile, header=None)
    data = pd.DataFrame(columns=["time", "number"])
    data["time"] = original[0]
    data["number"] = original[3] + original[4]
    return data
    
# read data of one day
def read_data_day(path, date):
    day_data = pd.DataFrame(columns=["time","number"])
    caldir = os.path.join(path, date)
    # read data of one day
    for f in os.listdir(caldir):
        if re.match(r\'wuhe_zhangheng.*\\.csv\', f):
            day_data = day_data.append(read_file(caldir, f), ignore_index=True)
    return day_data

　　　　随后，将提取出的数据针对时间进行编码，得到两个特征分别对应星期和时刻。并将所有相同特征的数值取平均值。

　　　　注意点：虽然是有四个星期的内容，但是baseline并没有针对第几个星期进行处理。所以不管是第一个星期一，还是第四个星期一，星期编码都是0。

　　　　　　　　　时刻也是一样。第一个星期一00:05时刻 与 第四个星期一00:05时刻，他们的X1, X2（i）编码是完全相同的。

　　　　　　　　　同时，五和-张衡路口时十字路口，每个时刻会记录四个不同方向的数据。

　　　　　　　　　所以对于每个X1、X2（i）会有16 条数据 （四个方向、四个星期），然后将这16个数据平均，变为一个输入

　　　　缺失数据分析：

　　　　　　　　上文提到，如果数据完整那么存在28 * 4 * 288 = 32256 条数据。

　　　　　　　　按照时刻和星期进行分组，组成【288，7，16】的矩阵，每个元素代表某一个时刻，四个星期的所有方向数据集（总共4周，4个方向，于是有16个数据）

　　　　　　　　所以数据应为【288，7，16】。每一个时刻，包含的数据总数应该为【16，16，16，16，16，16，16】

　　　　　　　　但是，分析大赛给出数据中有三种形式，分别为

　　　　　　　　【12，12，16，16，16，16，16】 前57个时刻

　　　　　　　　【12，12，16，16，16，16，12】共223个时刻

　　　　　　　　【12，13，16，16，16，16，12】 共8个时刻

　　　　　　　　验证：57*（104）+ 223 * （100）+ 8*（101）= 29036 。

　　　　　　　　通过缺失数据可以分析，数据量为12个星期，可能说明有一天没有五和-张衡路的数据（一天四个方向数据），或是某几天的数据中缺少五和-张衡路其中一个方向的                                数据。数据量为13则是某几天的数据缺失一个方向的记录。

　　　　　　　　　　　　

def get_data(path):
    raw_data = pd.DataFrame(columns=["time", "number"])
    for day in os.listdir(path):
        raw_data = raw_data.append(read_data_day(path, day))
    # encode time in raw data to weekday and timeindex(the n minutes of the day)
    df_dt = to_datetime(raw_data.loc[:, "time"], format="%Y/%m/%d %H:%M:%S")
    all_data = pd.DataFrame({
        "weekday": df_dt.dt.weekday/6.0,
        "timeindex": (df_dt.dt.hour * 60 + df_dt.dt.minute)/(24*60.0),
        "number": raw_data["number"].astype(int)}) 
    all_data = all_data.groupby(["weekday", "timeindex"]).sum().reset_index(level = ["weekday", "timeindex"])
        
    return all_data

　　模型训练：

　　　　baseline直接引用sklearn中的梯度提升决策树回归GradientBoostingRegressor进行预测。（没了解过，只知道决策树……基础要补课啊 ）

　　

def train_model():
    X_train, X_test, y_train, y_test = train_test_split(local_data[[\'weekday\',\'timeindex\']], local_data[\'number\'], 
                                                        test_size=0.1, random_state=42)
    print("X_train shape is: " + str(X_train.shape))
    print("X_test shape is: " + str(X_test.shape))
    
    params = {\'n_estimators\': 500, \'max_depth\': 4, \'min_samples_split\': 2,   #最优
              \'learning_rate\': 0.01, \'loss\': \'ls\'}
    clf = GradientBoostingRegressor(**params)
    clf.fit(X_train, y_train)
    joblib.dump(clf, LOCAL_MODEL_PATH) #模型保存

    y_predict = clf.predict(X_test)  
    
    mse = mean_squared_error(y_test, y_predict)
    print("MSE: %.4f" % mse)