第一次参加，天池大数据竞赛（血糖预测），初赛排名1%。因为自己对python不熟悉，所以记录一下在比赛中用到的一些python方法的使用（比较基础细节，大佬绕道）：
1.数据初探
data.info() data.describe()
使用上面两行代码，可以初步的看到整个数据的分布、缺失等情况
2.数据中存在性别是字符串表示的，使用map方法，将他数字化，当然也可以使用onehot。（python把字符串数据转变成数字）
data[‘性别‘] = data[‘性别‘].map({‘男‘ :1,‘女‘:0})
3.数据中日期的处理，这里有两种，一种是直接使用get_dummies()，或者如果使用的是lgb模型可以直接使用参数categorical_feature
另外一种就是计算两个日期之间的差值：（python计算日期的差值）
import time
import datetime
#日期标准化
data[‘体检日期‘] = pd.to_datetime(data[‘体检日期‘],format=‘%d/%m/%Y‘)
days =[]
for day in data[‘体检日期‘]:
days.append((day-pd.to_datetime(‘2017-09-15‘)).days)
data[‘体检日期‘] = days
在比赛中有大佬开源了自己的代码，里面对于时间的处理是：
data[‘体检日期‘] = (pd.to_datetime(data[‘体检日期‘]) - parse(‘2017-10-09‘)).dt.days
但是，有些我在用这种方法做的时候发现，他对时间的识别很不准，比如数据如果是02-11-2017他会识别成2017年2月11日，但是其中的30-10-2017又识别的2017年10月30日。存在这种问题，所以用了之前的方法，把格式给指定，就不会出现这种问题了
4.pandas的dropna() 删除空值太多的列。在数据比赛中，竟然有大量的数据都是NAN，这时候如果太多的NAN的特征或者样本可以删除掉:
import pandas as pd data.dropna(axis =1 ,thresh = 100,inplace = True)
这里的参数解释：axis=1 表示删除的是列，如果是0则删除行，thresh=100表示如果空值超过100就删除这一列，inplace=True表示改变本身。还有参数how具体的可以参考文档：官方文档
5.使用pandas(python)读取含有中文字符的文件，在比赛中使用的数据特征名称都是中文，因为是医学词汇，看中文比较熟悉所以在读取的时候，需要指定格式：
import pandas as pd data = pd.read_csv(‘...../data.csv‘,encoding = ‘gb2312‘)
使用encoding指定文档格式就可以了，如果不知道文档是什么格式，或者想转换格式，可以使用notepad++打开就可以转换格式了。
6.使用time包，记录算法运行的时间。因为要考虑到算法的时间效率，可以使用time包，计算时间：
import time
import datetime
print(‘开始训练.....‘)
T0 = time.time()
..
..
..
算法
..
..
..
print(‘训练用时{}秒.format(time.time() - T0))
这样就能得到算法运行的用时了。
先写在这里，对于数据的可视化处理，还有很多很多的方法，细节不一一记录了。后面几项尤其是模型对比及可视化非常有帮助，等有空了再补上。
6.特征扩张
7.主成分析降维
8.归一化
9.模型数据对比
9.1 K折模型预测数据图（预测值和真实值的图）
9.2 K折模型预测数据图（拟合训练数据预测值与真实值的图）
9.3 多种模型比较结果的正态分布（方法及代码）
10. xgb特征选择
11.三大相关系数（pearson、spearman、kendall）特征选择