钉钉杯大学生大数据挑战赛初赛B 航班数据分析与预测 Python代码实现Baseline

Posted 2023-03-08 Better Bench

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了钉钉杯大学生大数据挑战赛初赛B 航班数据分析与预测 Python代码实现Baseline相关的知识，希望对你有一定的参考价值。

题目

初赛 B：航班数据分析与预测

一．问题背景

随着科技的发展，乘坐飞机出行为人们的生活带来了极大的便利，航空交通管理影响着人们的工作和生活效率。在大数据和人工智能时代的今天，各种各样的信息科学和工程技术广泛应用于航空领域，为人们的生产生活提供更高的便利性，因此提高空中资源的优化配置，一直都是计算机科学与技术、信息科学与工程、数学等领域的一门热点研究方向。当前航空延误是空中资源优化配置的一项经典课题，分析与预测航空延误有助于提高资源的优化管理，提高生产生活效率，可以为乘客提供更优质的服务。

二．解决问题

1.航班转机功能实现：当两个城市之间没有直飞航班或者在购买机票附件时间没有直飞航班的时候，乘客通常需要购票 APP 实现转机功能。

（一）以附件中 2001-2003 年航班数据作为依据，实现在2001-2003年的航班转机功能。（注：从 A 地到 B 地可以有多种转机方案，该功能应提供时间最短的方案，已知的航班延误信息也应考虑在内）。

（二）用上述转机功能，查询 2003 年 7 月 4 日出发 7 月 5 日到达，从 CVG 机场到 ANC 机场最短时间方案。（注：航班延误时间也考虑在内）

2.迈阿密（MIA）起飞航班的延误分析

以论文形式说明：先给出自己对问题（一）和（二）航班延误的分析，再建立模型做实验得到航班是否延误的准确率，以实验结果检验自己最初的分析。

（一）以附件中的 2001-2003 年的航班数据作为训练集，以附件 2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式叙述预测航班是否延误的依据，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）是否延误，以预测准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：可以在训练、验证和预测中使用机场所在地天气情况等信息，详见附件数据属性说明表。

（二）以附件中的2001-2003 年的航班数据作为训练集，以附件2004-2005 年的航班数据作为测试集，以从迈阿密（MIA）到洛杉矶（LAX）和从迈阿密（MIA）到纽约（JFK）这两组航班数据作为研究对象，先以文字形式分析航班延误的各种原因，再建立模型预测从迈阿密（MIA）起飞航班（从 MIA 到 LAX 和从 MIA 到 JFK）延误的原因，以预测延误原因的准确率和实验结果检验自己的分析。（注：测试集不能参与到训练和验证中，否则作违规处理）

提示：参赛队伍可以先筛选出延误航班，再对延误航班的原因进行预测与分析，详见属性说明表中航班延误原因。在训练、验证和预测中可以使用机场所在地天气情况等信息，详见附件数据属性说明表。

思路分析

（1）问题一：分析航班延误的依据

航班延误是指航班降落时间（航班实际到港挡轮挡时间）比计划降落时间（航班时刻表上的时间）延迟15分钟以上或航班取消的情况。

（2）问题二：延误的原因分析

将模型训练的重要特征进行排序输出

以下代码不完整，请下载完整的代码

1 训练集预处理

（1）读取文件

训练集数据预处理

说明：数据预处理阶段，生成的特征包括：

出发机场、到达机场、航班编号、飞机编号、计划飞行时间、计划起飞时刻、航班月份、计划到达时刻、前序延误、起飞间隔、到达特情、出发特情、出发天气、出发气温、到达天气、到达气温。

文件对应关系为：

flight.csv: 航班动态数据.csv
weather.csv: 城市天气.csv
.airport_city.csv: 机场城市对应表.csv
carriers.csv: 航空公司信息.csv

import warnings
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
import os
import datetime
warnings.filterwarnings('ignore')

# ——————————————————————————读取数据—————————————————————————————— #
# 航班数据
flight_data_2001 =  pd.read_csv(
    './data/2001.csv', encoding='unicode_escape')
flight_data_2002 = pd.read_csv(
    './data/2002.csv', encoding='unicode_escape')
flight_data_2003 = pd.read_csv(
    './data/2003.csv', encoding='unicode_escape')
flight_data_all = pd.concat(
    [flight_data_2001, flight_data_2002, flight_data_2003]).reset_index(drop=True)

flight_data_all.info()

Data columns (total 29 columns):

Column Dtype

0 Year int64
1 Month int64
2 DayofMonth int64
3 DayOfWeek int64
4 DepTime float64
5 CRSDepTime int64
6 ArrTime float64
7 CRSArrTime int64
8 UniqueCarrier object
9 FlightNum int64
10 TailNum object
11 ActualElapsedTime float64
12 CRSElapsedTime int64
13 AirTime float64
14 ArrDelay float64
15 DepDelay float64
16 Origin object
17 Dest object
18 Distance int64
19 TaxiIn int64
20 TaxiOut int64
21 Cancelled int64
22 CancellationCode float64
23 Diverted int64
24 CarrierDelay float64
25 WeatherDelay float64
26 NASDelay float64
27 SecurityDelay float64
28 LateAircraftDelay float64
dtypes: float64(12), int64(13), object(4)
memory usage: 3.8+ GB

# 只取MIA到LAX和MIA到JFK的数据
MIA_Flight = flight_data_all[flight_data_all['Origin'] == 'MIA']
flight_data = MIA_Flight[(MIA_Flight['Dest'] == 'LAX')| (MIA_Flight['Dest'] == 'JFK')]
flight_data.to_csv('./clear_data/MIA_train_data.csv', index=False)

1.1 读取后的航班动态展示

flight_data.head()

1.2 时间信息预处理

生成的特征&字段

计划飞行时间（单位：h）【可间接反映出航线距离】
计划起飞日期&计划到达日期【用以匹配天气和特情信息】
计划起飞时刻&计划到达时刻【不同时刻的航班】
航班月份
起飞延误时间（单位：分钟）
到达延误时间（单位：分钟）

flight_data = pd.read_csv('./clear_data/MIA_train_data.csv')

# 详细时间点
flight_data['航班是否取消'] = flight_data['Cancelled']
flight_data['Day'] = flight_data['DayofMonth']
flight_data['起飞一周中的日期'] = flight_data['DayOfWeek']
flight_data['飞机起飞时滑行时间'] = flight_data['TaxiIn']
flight_data['飞机降落时滑行时间'] = flight_data['TaxiOut']

flight_data['起飞日期'] = pd.to_datetime(flight_data[['Year','Month','Day']])

flight_data['出发机场'] = flight_data['Origin']
flight_data['到达机场'] = flight_data['Dest']
flight_data['航班编号'] = flight_data['FlightNum']
flight_data['航班尾号'] = flight_data['TailNum']
flight_data['航空公司'] = flight_data['UniqueCarrier']



# 转化成日期格式
flight_data['计划起飞时间'] = flight_data['CRSDepTime']
flight_data['计划到达时间'] = flight_data['CRSArrTime']
flight_data['实际起飞时间'] = flight_data['DepTime']
flight_data['实际到达时间'] = flight_data['ArrTime']


# 计划飞行时间
flight_data['计划飞行时间'] = flight_data['计划到达时间'] - flight_data['计划起飞时间']
# 实际到达时间与实际起飞时间之差，因为会有时区限制所以ActualElapsedTimeArrTime - DepTime，ActualElapsedTime = AirTime + TaxiIn + TaxiOut
flight_data['实际到达时间与实际起飞时间之差'] = flight_data['ActualElapsedTime']
# 预计到达时间与预计起飞时间之差
flight_data['预计到达时间与预计起飞时间之差'] = flight_data['CRSElapsedTime'] 
# 空中飞行时间
flight_data['空中飞行时间'] = flight_data['AirTime']
# 实际起飞时间与预计起飞时间之差
flight_data['实际起飞时间与预计起飞时间之差'] = flight_data['DepDelay']
# 实际到达时间与预计到达时间之差
flight_data['实际到达时间与预计到达时间之差'] = flight_data['ArrDelay']



# 删除后面用不着的字段，节约内存
del flight_data['实际起飞时间']
del flight_data['DayofMonth']
del flight_data['DayOfWeek']

del flight_data['Origin']
del flight_data['Dest']
del flight_data['DepTime']
del flight_data['CRSDepTime']
del flight_data['ArrTime']
del flight_data['CRSArrTime']

del flight_data['ActualElapsedTime']
del flight_data['TaxiIn']
del flight_data['TaxiOut']
del flight_data['CRSElapsedTime']
del flight_data['FlightNum']

del flight_data['TailNum']
del flight_data['UniqueCarrier']
del flight_data['Cancelled']


del flight_data['CancellationCode']
del flight_data['CarrierDelay']
del flight_data['WeatherDelay']
del flight_data['NASDelay']
del flight_data['SecurityDelay']
del flight_data['LateAircraftDelay']

判断是否延误

# 根据实际到达时间超过计划到达时间15分钟内以上和取消航班为延误的判断指标
def Determine_delay(t, c):
    # 超过15分钟或者航班取消
    if t > 15 or c == 1:
        return 1
    else:
        return 0

flight_data['是否延误'] = flight_data.apply(
    lambda row: Determine_delay(row['实际到达时间与预计到达时间之差'], row['航班是否取消']), axis=1)
del flight_data['航班是否取消']

flight_data['是否延误'].value_counts()

0 10472

1 3198

Name: 是否延误, dtype: int64

from datetime import datetime, timedelta
def GetTime(s,d):
    sec = timedelta(seconds=int(s))
    return (sec+d).strftime('%Y-%m-%d')
flight_data['计划起飞日期'] = flight_data.apply(lambda row: GetTime(row['计划起飞时间'], row['起飞日期']), axis=1)
flight_data['计划到达日期'] = flight_data.apply(lambda row: GetTime(row['计划到达时间'], row['起飞日期']), axis=1)
flight_data.columns

Index([‘Year’, ‘Month’, ‘AirTime’, ‘ArrDelay’, ‘DepDelay’, ‘Distance’, ‘Diverted’, ‘Day’, ‘起飞一周中的日期’, ‘飞机起飞时滑行时间’, ‘飞机降落时滑行时间’, ‘起飞日期’, ‘出发机场’, ‘到达机场’, ‘航班编号’, ‘航班尾号’, ‘航空公司’, ‘计划起飞时间’, ‘计划到达时间’, ‘实际到达时间’, ‘计划飞行时间’, ‘实际到达时间与实际起飞时间之差’, ‘预计到达时间与预计起飞时间之差’, ‘空中飞行时间’, ‘实际起飞时间与预计起飞时间之差’, ‘实际到达时间与预计到达时间之差’, ‘是否延误’, ‘计划起飞日期’, ‘计划到达日期’], dtype=‘object’)

1.3 前序航班的延误时间&到达与起飞间隔

这里前序航班的定义为：同一架飞机，当前航班的前一个航班即为当前航班的前序航班。比如，同一架飞机连续飞两个航班A：南京–北京，B：北京–西安，则A为B的前序航班。

延误时间（单位：分钟）

前序航班的延误时间定义为前序航班到达延误时间，即时间到达时间减去计划到达时间

到达与起飞间隔（单位：分钟）

当前航班的计划起飞时间与前序航班时间到达时间的间隔

flight_data['前序延误'] = pd.Series()
flight_data['起飞间隔'] = pd.Series()
# 根据航班的飞机编号分组
grouped = flight_data.groupby(flight_data['航班编号'])
chunks = []
for name,group in grouped:
#     print(name)
# 对每一架飞机按照计划起飞时间排序，以得到航班的顺序关系
    group = group.sort_values('计划起飞时间')
    a = group['计划起飞时间'][1:].reset_index(drop=True)
    b = group['实际到达时间'][0:len(group)-1].reset_index(drop=True)  
    group['起飞间隔'][1:] = b-a
    group['起飞间隔'] = group['起飞间隔']
#     前序航班的延误时间
    group['前序延误'][1:] = group['实际到达时间与预计到达时间之差'][0:len(group)-1]
    chunks.append(group)
flight_data = pd.concat(chunks, ignore_index=True)
# 删除无用的变量和字段，释放内存
del(grouped)
del(group)
del(chunks)
del flight_data['计划起飞时间']
del flight_data['计划到达时间']
del flight_data['实际到达时间']

判断是否有缺失值

flight_data.isnull().any()

Year False
Month False
AirTime True
ArrDelay True
DepDelay True
Distance False
Diverted False
Day False
起飞一周中的日期 False
飞机起飞时滑行时间 False
飞机降落时滑行时间 False
起飞日期 False
出发机场 False
到达机场 False
航班编号 False
航班尾号 True
航空公司 False
计划飞行时间 False
实际到达时间与实际起飞时间之差 True
预计到达时间与预计起飞时间之差 False
空中飞行时间 True
实际起飞时间与预计起飞时间之差 True
实际到达时间与预计到达时间之差 True
是否延误 False
计划起飞日期 False
计划到达日期 False
前序延误 True
起飞间隔 True
dtype: bool

航班信息的缺失值处理

flight_data['AirTime'] = flight_data['AirTime'].fillna(flight_data['AirTime'].mean())  # 均值填充
flight_data['ArrDelay'] = flight_data['ArrDelay'].fillna(flight_data['ArrDelay'].mean())  # 均值填充
flight_data['DepDelay'] = flight_data['DepDelay'].fillna(flight_data['DepDelay'].mean())  # 均值填充
flight_data['实际到达时间与实际起飞时间之差'] = flight_data['实际到达时间与实际起飞时间之差'].fillna(flight_data['实际到达时间与实际起飞时间之差'].mean())  # 均值填充
flight_data['实际起飞时间与预计起飞时间之差'] = flight_data['实际起飞时间与预计起飞时间之差'].fillna(flight_data['实际起飞时间与预计起飞时间之差'].mean())  # 均值填充
flight_data['实际到达时间与预计到达时间之差'] = flight_data['实际到达时间与预计到达时间之差'].fillna(flight_data['实际到达时间与预计到达时间之差'].mean())  # 均值填充
flight_data['空中飞行时间'] = flight_data['空中飞行时间'].fillna(flight_data['空中飞行时间'].mean())  # 均值填充
flight_data['前序延误'] = flight_data['前序延误'].fillna(flight_data['前序延误'].mean())  # 均值填充
flight_data['起飞间隔'] = flight_data['起飞间隔'].fillna(flight_data['起飞间隔'].mean())  # 均值填充
flight_data['航班尾号'] = flight_data['航班尾号'].fillna(flight_data['航班尾号'].value_counts().index[0])  # 众数填充

1.4 天气

天气特征的提取主要包括气温特征和天气情况，其中：

气温划分为3个取值，大于40度为高温，小于-10度为低温，其他为一般

weather_all = pd.read_csv('./data/rawweatherdata.csv',
                      encoding='unicode_escape', header=None)
weather_all.columns = ['Year', 'Month', 'Day',
                        '最高气温', '平均气温', '最低气温', '最高露点', '平均露点',
                        '最低露点', '最大湿度', '平均湿度', '最小湿度', '最高海平面气压',
                        '平均海平面气压', '最低海平面气压', '最高能见度', '平均能见度',
                        '最低能见度', '最大风速', '平均风速', '瞬时风速', '降水量',
                        '云量', '活动', '风向', '机场', '城市']
weather = weather_all[(weather_all['Year'] == 2001) |
                      (weather_all['Year'] == 2002) | (weather_all['Year'] == 2003)]
weather

查看缺失值数量

# 查看缺失值
import missingno as msn

msn.matrix(weather)

天气缺失值处理

# 活动和瞬时风速缺失值太多，直接删除
del weather['瞬时风速'] 
del weather['活动']

weather['最高气温'] = weather['最高气温'].fillna(
    weather['最高气温'].mean())  # 均值填充
weather['平均气温'] = weather['平均气温'].fillna(
    weather['平均气温'].mean())  # 均值填充
weather['最低气温'] = weather['最低气温'].fillna(
    weather['最低气温'].mean())  # 均值填充
weather['最高露点'] = weather['最高露点'].fillna(
    weather['最高露点'].mean())  # 均值填充
weather['平均露点'] = weather['平均露点'].fillna(
    weather['平均露点'].mean())  # 均值填充
weather['最低露点'] = weather['最低露点'].fillna(
    weather['最低露点'].mean())  # 均值填充
weather['最大湿度'] = weather['最大湿度'].fillna(
    weather['最大湿度'].mean())  # 均值填充
weather['平均湿度'] = weather['平均湿度'].fillna(
    weather['平均湿度'].mean())  # 均值填充
weather['最小湿度'] = weather['最小湿度'].fillna(
    weather['最小湿度'].mean())  # 均值填充
weather['最高海平面气压'] = weather['最高海平面气压'].fillna(
    weather['最高海平面气压'].mean())  # 均值填充
weather['平均海平面气压'] = weather['平均海平面气压'].fillna(
    weather['平均海平面气压'].mean())  # 均值填充
weather['最低海平面气压'] = weather['最低海平面气压'].fillna(
    weather['最低海平面气压'].mean())  # 均值填充
weather['最高能见度'] = weather['最高能见度'].fillna以上是关于钉钉杯大学生大数据挑战赛初赛B 航班数据分析与预测 Python代码实现Baseline的主要内容，如果未能解决你的问题，请参考以下文章 
 钉钉杯大学生大数据挑战赛初赛 A：银行卡电信诈骗危险预测 Baseline
 中国高校大数据挑战赛含金量
 第十一届“泰迪杯”数据挖掘挑战赛B题产品订单的数据分析与需求预测“解题思路“”以及“代码分享”
 2021年科大讯飞 试题标签预测挑战赛前三名队伍分享
 毕设定题-航班数据可视化
 全国大学生大数据技能竞赛（Hadoop集群搭建）