教你如何用python6个步骤搞定金融数据挖掘预处理

Posted 2023-04-23

参考技术A 数据预处理没有标准的流程，通常针对不同的任务和数据集属性的不同而不同。下面就一起看下常用六大步完成数据预处理。

Step 1：导入相关模块

Step 2：获取数据

特征构造

Step 3：处理缺失值

Step 4：分类数据编码

创建虚拟变量

Step 5：划分训练集和测试集

Step 6：特征标准化

数据变换十大秘诀

数据变换[1]是将数据集的每个元素乘以常数；也就是说，将每个数变换为，其中,和都是实数。数据变换将可能改变数据的分布以及数据点的位置。

数据标准化[2]（有时称为 z-score 或 standar score）是已重新缩放为平均值为零且标准偏差为1的变量。对于标准化变量，每种情况下的值在标准化变量上的值都表明它与原始变量的均值（或原始变量的标准偏差）的差值。

归一化数据 是将数据缩放到0到1范围内。

Binarizing Data

二值化[3]是将任何实体的数据特征转换为二值化的向量以使分类器算法更高效的过程。在一个简单的示例中，将图像的灰度从0-255光谱转换为0-

1 光谱就是二值化。

Mean Removal

去均值法 是将均值从每一列或特征中移除，使其以零为中心的过程。

One Hot Encoding

独热编码[4]是将分类变量转换为可以提供给ML算法以更好地进行预测的形式的过程。

Label Encoding

标签编码 适用于具有分类变量并将数据转换为数字的数据。

fit

transform

词向量 用于带有标签和数字的数据。此外，词向量可用于提取数据。

获取特征名称

Polynomial Features

多项式特征 用于生成多项式特征和交互特征。它还生成了一个新的特征矩阵数据，该数据是由所有次数小于或等于指定次数的特征的多项式组合组成的。

截距项

填补 (如用均值填补缺失值)，它用列或特性数据中的平均值替换缺失的值

教你如何用Python批量下载自己喜欢听得音乐

前言

文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。

PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取

http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef

音乐是生活的调剂品，目前很多的音乐只能播放不能下载。生为技术员的我们，怎么甘心呢？

知识点：

1. requests

2. 正则表达式

 

开发环境：

1. 版 本：anaconda5.2.0（python3.6.5）

2. 编辑器：pycharm

 

第三方库：

1. requests

2. parsel

网页分析

目标站点：http://music.taihe.com/search?key=%E9%99%88%E7%B2%92

分析音乐的真实地址

选择一首歌 以陈粒的走马为例

打开开发者工具，选择network -> media -> 刷新网页就能获取到音乐的真实地址

但是得到的地址在查看源码中是读取不到的，肯定是百度音乐对其进行了隐藏。这种时候一般会有两种情况。第一种是使用了 JavaScript 对请求连接进行了拼接或加密，第二种是数据被隐藏了。由于我们不清楚是出现了那种情况。所以我们只能慢慢的去分析请求的数据。 经过分析我们可以看到真实的音乐地址是存在于这个API里面http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&callback=jQuery17206453751179783578_1544942124991&songid=243093242&from=web&_=1544942128336

并且我们请求这个 API 返回的是一个 json 数据（也就是python的字典数据类型）。只要我们使用字典的规则就能将我们的所有数据给提取到。

url拼接 获取所有数据

前面我们得到了音乐的真实地址，接下来我们就是分析真实地址的 url ，以期待得到下载所有音乐的诀窍。 仔细分析一下 url 就可以发现，?后面的from参数与_即使不存在也不影响数据的请求。

并且后面的参数中的songid其实就是歌曲的唯一id，from参数其实就是表明从哪个平台过来的

所以等一下我们下载音乐时，只要批量获取到歌曲的songid就能将所有的歌曲给全部下载下来了。

 

批量获取singid

使用开发者工具，查看网页源码就能查看到songid的位置，如果我们分析一个歌手页面的url你会发现同样可以构造。

到此，整个网页分析就结束了。

实现效果

完整代码

 1 import re
 2 import requests
 3 ?
 4 ?
 5 def get_songid():
 6     """获取音乐的songid"""
 7     url = ‘http://music.taihe.com/artist/2517‘
 8     response = requests.get(url=url)
 9     html = response.text
10     sids = re.findall(r‘href="/song/(d+)"‘, html)
11     return sids
12 ?
13 ?
14 def get_music_url(songid):
15     """获取下载链接"""
16     api_url = f‘http://musicapi.taihe.com/v1/restserver/ting?method=baidu.ting.song.playAAC&format=jsonp&songid={songid}&from=web‘
17     response = requests.get(api_url.format(songid=songid))
18     data = response.json()
19     print(data)
20     try:
21         music_name = data[‘songinfo‘][‘title‘]
22         music_url = data[‘bitrate‘][‘file_link‘]
23         return music_name, music_url
24     except Exception as e:
25         print(e)
26 ?
27 ?
28 def download_music(music_name, music_url):
29     """下载音乐"""
30     response = requests.get(music_url)
31     content = response.content
32     save_file(music_name+‘.mp3‘, content)
33 ?
34 ?
35 def save_file(filename, content):
36     """保存音乐"""
37     with open(file=filename, mode="wb") as f:
38         f.write(content)
39 ?
40 ?
41 if __name__ == "__main__":
42     for song_id in get_songid():
43         music_name, music_url = get_music_url(song_id)
44         download_music(music_name, music_url)

 

?