钉钉杯大学生大数据挑战赛初赛B 航班数据分析与预测 Python代码实现Baseline

Posted 2022-08-02 Better Bench

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了钉钉杯大学生大数据挑战赛初赛B 航班数据分析与预测 Python代码实现Baseline相关的知识，希望对你有一定的参考价值。

0 题目

初赛 B：航班数据分析与预测

一．问题背景

随着科技的发展，乘坐飞机出行为人们的生活带来了极大的便利，航空交通管理影响着人们的工作和生活效率。在大数据和人工智能时代的今天，各种各样的信息科学和工程技术广泛应用于航空领域，为人们的生产生活提供更高的便利性，因此提高空中资源的优化配置，一直都是计算机科学与技术、信息科学与工程、数学等领域的一门热点研究方向。当前航空延误是空中资源优化配置的一项经典课题，分析与预测航空延误有助于提高资源的优化管理，提高生产生活效率，可以为乘客提供更优质的服务。

二．解决问题

1.航班转机功能实现：当两个城市之间没有直飞航班或者在购买机票附件时间没有直飞航班的时候，乘客通常需要购票 APP 实现转机功能。

（一）以附件中 2001-2003 年航班数据作为依据，实现在2001-2003年的航班转机功能。（注：从 A 地到 B 地可以有多种转机方案，该功能应提供时间最短的方案，已知的航班延误信息也应考虑在内）。

（二）用上述转机功能，查询 2003 年 7 月 4 日出发 7 月 5 日到达，从 CVG 机场到 ANC 机场最短时间方案。（注：航班延误时间也考虑在内）

2.迈阿密（MIA）起飞航班的延误分析

以论文形式说明：先给出自己对问题（一）和（二）航班延误的分析，再建立模型做实验得到航班是否延误的准确率，以实验结果检验自己最初的分析。

（一）以附件中的 2001-2003 年的航班数据作为训练集，以附件 2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式叙述预测航班是否延误的依据，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）是否延误，以预测准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：可以在训练、验证和预测中使用机场所在地天气情况等信息，详见附件数据属性说明表。

（二）以附件中的2001-2003 年的航班数据作为训练集，以附件2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式分析航班延误的各种原因，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）延误的原因，以预测延误原因的准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：参赛队伍可以先筛选出延误航班，再对延误航班的原因进行预测与分析，详见属性说明表中航班延误原因。在训练、验证和预测中可以使用机场所在地天气情况等信息，详见附件数据属性说明表。

1 训练集预处理

（1）读取文件

文件对应关系为：

flight.csv: 航班动态数据.csv
weather.csv: 城市天气.csv
.airport_city.csv: 机场城市对应表.csv
carriers.csv: 航空公司信息.csv

import warnings
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
import datetime
warnings.filterwarnings('ignore')

# ——————————————————————————读取数据—————————————————————————————— #
# 航班数据
flight_data =  pd.read_csv(
    './data/2001.csv', encoding='unicode_escape')
# # 天气数据
weather = pd.read_csv('./data/rawweatherdata.csv',
                       encoding='unicode_escape', low_memory=False)
# 机场对应数据
airport_city = pd.read_csv('./data/airports.csv',
                           encoding='unicode_escape', low_memory=False)
# 航空公司信息
carriers = pd.read_csv('./data/carriers.csv',
                     encoding='unicode_escape', low_memory=False)

flight_data.info()

Data columns (total 29 columns):

Column Dtype

0 Year int64
1 Month int64
2 DayofMonth int64
3 DayOfWeek int64
4 DepTime float64
5 CRSDepTime int64
6 ArrTime float64
7 CRSArrTime int64
8 UniqueCarrier object
9 FlightNum int64
10 TailNum object
11 ActualElapsedTime float64
12 CRSElapsedTime int64
13 AirTime float64
14 ArrDelay float64
15 DepDelay float64
16 Origin object
17 Dest object
18 Distance int64
19 TaxiIn int64
20 TaxiOut int64
21 Cancelled int64
22 CancellationCode float64
23 Diverted int64
24 CarrierDelay float64
25 WeatherDelay float64
26 NASDelay float64
27 SecurityDelay float64
28 LateAircraftDelay float64
dtypes: float64(12), int64(13), object(4)
memory usage: 1.3+ GB

1.1 读取后的航班动态展示

flight_data.head()

1.2 时间信息预处理

生成的特征&字段

计划飞行时间（单位：h）【可间接反映出航线距离】
计划起飞日期&计划到达日期【用以匹配天气和特情信息】
计划起飞时刻&计划到达时刻【不同时刻的航班】
航班月份
起飞延误时间（单位：h），取消的航班直接设置为延误10小时（大于3个小时即可）
到达延误时间（单位：h）【主要用作后续航班的一个参考】

# 详细时间点
flight_data['航班是否取消'] = flight_data['Cancelled']
flight_data['Day'] = flight_data['DayofMonth']
flight_data['起飞一周中的日期'] = flight_data['DayOfWeek']
flight_data['飞机起飞时滑行时间'] = flight_data['TaxiIn']
flight_data['飞机降落时滑行时间'] = flight_data['TaxiOut']

flight_data['起飞日期'] = pd.to_datetime(flight_data[['Year','Month','Day']])

flight_data['出发机场'] = flight_data['Origin']
flight_data['到达机场'] = flight_data['Dest']
flight_data['航班编号'] = flight_data['FlightNum']
flight_data['航班尾号'] = flight_data['TailNum']
flight_data['航空公司'] = flight_data['UniqueCarrier']



# 转化成日期格式
flight_data['计划起飞时间'] = flight_data['CRSDepTime']
flight_data['计划到达时间'] = flight_data['CRSArrTime']
flight_data['实际起飞时间'] = flight_data['DepTime']
flight_data['实际到达时间'] = flight_data['ArrTime']


# 计划飞行时间
flight_data['计划飞行时间'] = flight_data['计划到达时间'] - flight_data['计划起飞时间']
# flight_data['计划飞行时间'] = flight_data['计划飞行时间']/3600  # 转换为小时
# 实际到达时间与实际起飞时间之差，因为会有时区限制所以ActualElapsedTimeArrTime - DepTime，ActualElapsedTime = AirTime + TaxiIn + TaxiOut
flight_data['实际到达时间与实际起飞时间之差'] = flight_data['ActualElapsedTime']
# 预计到达时间与预计起飞时间之差
flight_data['预计到达时间与预计起飞时间之差'] = flight_data['CRSElapsedTime'] 
# 空中飞行时间
flight_data['空中飞行时间'] = flight_data['AirTime']
# 实际起飞时间与预计起飞时间之差
flight_data['实际起飞时间与预计起飞时间之差'] = flight_data['DepDelay']
# 实际到达时间与预计到达时间之差
flight_data['实际到达时间与预计到达时间之差'] = flight_data['ArrDelay']



# 延误
flight_data['起飞延误时间'] = pd.to_datetime(flight_data['实际起飞时间']) - pd.to_datetime(flight_data['计划起飞时间'])
# flight_data['起飞延误时间'] = flight_data['起飞延误时间']/3600  # 转换为小时

flight_data['起飞延误时间'] = np.where(flight_data['航班是否取消'] ==1,10,flight_data['起飞延误时间'])


flight_data['到达延误时间'] = pd.to_datetime(flight_data['实际到达时间']) - pd.to_datetime(flight_data['计划到达时间'])
flight_data['到达延误时间'] = flight_data['到达延误时间']/3600  # 转换为小时
flight_data['到达延误时间'] = np.where(flight_data['航班是否取消'] ==1,10,flight_data['到达延误时间'])

# 删除后面用不着的字段，节约内存
del flight_data['实际起飞时间']
del flight_data['航班是否取消']

del flight_data['DayofMonth']
del flight_data['DayOfWeek']

del flight_data['DepTime']
del flight_data['CRSDepTime']
del flight_data['ArrTime']
del flight_data['CRSArrTime']

del flight_data['ActualElapsedTime']
del flight_data['TaxiIn']
del flight_data['TaxiOut']
del flight_data['CRSElapsedTime']
del flight_data['FlightNum']

del flight_data['Origin']
del flight_data['Dest']
del flight_data['TailNum']
del flight_data['UniqueCarrier']
del flight_data['Cancelled']

# 只取前1W数据，便于快速分析
flight_data= flight_data[:10000]
from datetime import datetime, timedelta
# 计算起飞日期和达到日期
def GetTime(s,d):
    sec = timedelta(seconds=int(s))
    return (sec+d).strftime('%Y-%m-%d')
flight_data['计划起飞日期'] = flight_data.apply(lambda row: GetTime(row['计划起飞时间'], row['起飞日期']), axis=1)
flight_data['计划到达日期'] = flight_data.apply(lambda row: GetTime(row['计划到达时间'], row['起飞日期']), axis=1)
flight_data.columns

Index([‘Year’, ‘Month’, ‘AirTime’, ‘ArrDelay’, ‘DepDelay’, ‘Distance’,
‘CancellationCode’, ‘Diverted’, ‘CarrierDelay’, ‘WeatherDelay’,
‘NASDelay’, ‘SecurityDelay’, ‘LateAircraftDelay’, ‘Day’, ‘起飞一周中的日期’,
‘飞机起飞时滑行时间’, ‘飞机降落时滑行时间’, ‘起飞日期’, ‘出发机场’, ‘到达机场’, ‘航班编号’, ‘航班尾号’,
‘航空公司’, ‘计划起飞时间’, ‘计划到达时间’, ‘实际到达时间’, ‘计划飞行时间’, ‘实际到达时间与实际起飞时间之差’,
‘预计到达时间与预计起飞时间之差’, ‘空中飞行时间’, ‘实际起飞时间与预计起飞时间之差’, ‘实际到达时间与预计到达时间之差’,
‘起飞延误时间’, ‘到达延误时间’, ‘计划起飞日期’, ‘计划到达日期’],
dtype=‘object’)

1.3 前序航班的延误时间&到达与起飞间隔

这里前序航班的定义为：同一架飞机，当前航班的前一个航班即为当前航班的前序航班。比如，同一架飞机连续飞两个航班A：南京–北京，B：北京–西安，则A为B的前序航班。

延误时间（单位：h）

前序航班的延误时间定义为前序航班到达延误时间，即时间到达时间减去计划到达时间

到达与起飞间隔（单位：h）

当前航班的计划起飞时间与前序航班时间到达时间的间隔

flight_data = pd.read_csv('./data/clear_2001.csv')
flight_data['前序延误'] = pd.Series()
flight_data['起飞间隔'] = pd.Series()
# 根据航班的飞机编号分组
grouped = flight_data.groupby(flight_data['航班编号'])
chunks = []
for name,group in grouped:
#     print(name)
# 对每一架飞机按照计划起飞时间排序，以得到航班的顺序关系
    group = group.sort_values('计划起飞时间')
    a = pd.to_datetime(group['计划起飞时间'])[1:].reset_index(drop=True)
    b = pd.to_datetime(group['实际到达时间'])[0:len(group)-1].reset_index(drop=True)  
    group['起飞间隔'][1:] = a-b
  。。。略
#     前序航班的延误时间
    group['前序延误'][1:] = group['到达延误时间'][0:len(group)-1]
    chunks.append(group)
flight_data = pd.concat(chunks, ignore_index=True)
# 删除无用的变量和字段，释放内存
del(grouped)
del(group)
del(chunks)
del(flight_data['计划起飞时间'])
del(flight_data['计划到达时间'])
del(flight_data['实际到达时间'])
flight_data

1.4 天气

天气特征的提取主要包括气温特征和天气情况，其中：

气温划分为3个取值，大于40度为高温，小于-10度为低温，其他为一般

weather_2001 = pd.read_csv('./data/rawweatherdata.csv',
                      encoding='unicode_escape', header=None)
weather_2001.columns = ['Year', 'Month', 'Day',
                        '最高气温', '平均气温', '最低气温', '最高露点', '平均露点',
                        '最低露点', '最大湿度', '平均湿度', '最小湿度', '最高海平面气压',
                        '平均海平面气压', '最低海平面气压', '最高能见度', '平均能见度',
                        '最低能见度', '最大风速', '平均风速', '瞬时风速', '降水量',
                        '云量', '活动', '风向', '机场', '城市']
# 气温处理
weather['气温'] = pd.Series()
max_d = np.mean(weather['最高气温'])
min_d = np.mean(weather['最低气温'])

weather['最高气温'] = weather['最高气温'].fillna(max_d)
weather['最低气温'] = weather['最低气温'].fillna(min_d)

。。。。略

weather['日期'] = pd.to_datetime(weather[['Year', 'Month', 'Day']])
del(weather['最高气温'])
del(weather['最低气温'])

1.5 将天气匹配到航班动态表中

# 机场对应数据
airport_city = pd.read_csv('./data/airports.csv',encoding='unicode_escape', low_memory=False)
airport_city['城市名称'] = airport_city['city']
airport_city['机场编码'] = airport_city['iata']
weather = weather.drop_duplicates()  # 只包含这三个字段

# 将机场编码对应到天气数据上面，根据城市名
。。。。略
del(airport_weather['城市名称'])
# 去除缺失值和重复的机场天气信息
airport_weather = airport_weather.dropna()
airport_weather = airport_weather.drop_duplicates(['日期', '机场编码'])

# 出发城市
。。。。略
flight_data2['出发气温'] = flight_data2['气温']
del(flight_data2['机场编码'])
del(flight_data2['城市'])
del[flight_data2['日期']]
del(flight_data2['气温'])
# 到达城市
flight_data2 = pd.merge(flight_data2, airport_weather, left_on=['到达机场', '计划到达日期'], right_on=['机场编码', '日期'], how='left')
flight_data2['到达气温'] = flight_data2['气温']
del(flight_data2['机场编码'])
del(flight_data2['城市'])
del[flight_data2['日期']]
del(flight_data2['气温'])
del(flight_data2['计划起飞日期'])
del(flight_data2['计划到达日期'])
del(flight_data2['到达延误时间'])

1.6 航班特征

这里根据航班编号提取出的特征包括：

航班的性质（摘自百度百科，一般尾号为字母的是补飞的，3位数字国内航班，4为数字国外航班）

0：补飞
1：国内正常
2：国外


def f(x):
    x = str(x)
    if x[-1].isalpha():
        y = 0
    elif len(x[2:]) == 4:
        y = 1
    else:
        y = 2
    return(y)
flight_data2['航班性质'] = flight_data2['航班编号'].apply(f)
flight_data2.columns

Index([‘Year_x’, ‘Month_x’, ‘AirTime’, ‘ArrDelay’, ‘DepDelay’, ‘Distance’, ‘CancellationCode’, ‘Diverted’, ‘CarrierDelay’, ‘WeatherDelay’, … ‘机场_y’, ‘iata_y’, ‘airport_y’, ‘city_y’, ‘state_y’, ‘country_y’, ‘lat_y’, ‘long_y’, ‘到达气温’, ‘航班性质’], dtype=‘object’, length=237)

1.7 将数据保存到文件中

# train_data1.csv和columns_types.pickle保存在"处理后训练集"文件夹下
# weather_case.csv 保存在原始测试集文件夹下
import pickle
flight_data2.to_csv('train_data.csv',index=False) # 保存训练数据
# 训练集数类型
colums_types = dict(flight_data.dtypes)
with open('./data/colums_type.pickle', 'wb') as f:
     pickle.dump(colums_types, f) 

pd.Series(list(weather_case)).to_csv('weather_case.csv',index=False,header=True) # 保存天气情况数据
os.chdir(pwd)