如何评价利用python制作数据采集,计算,可视化界面呢?

Posted 2023-03-25

链接：http://pan.baidu.com/s/1BWBtFMYeQazJWUYSmHi5fw

提取码：yz10

Python&Tableau：商业数据分析与可视化。Tableau的程序很容易上手，各公司可以用它将大量数据拖放到数字“画布”上，转眼间就能创建好各种图表。这一软件的理念是，界面上的数据越容易操控，公司对自己在所在业务领域里的所作所为到底是正确还是错误，就能了解得越透彻。

快速分析：在数分钟内完成数据连接和可视化。Tableau 比现有的其他解决方案快 10 到 100 倍。大数据，任何数据：无论是电子表格、数据库还是 Hadoop 和云服务，任何数据都可以轻松探索。

课程目录：

前置课程-Python在咨询、金融、四大等领域的应用以及效率提升

Python基础知识

Python入门：基于Anaconda与基于Excel的Python安装和界面

简单的数学计算

Python数据分析-时间序列2-数据操作与绘图

Python数据分析-时间序列3-时间序列分解

......

参考技术A 如何评价利用python制作数据采集，计算，可视化界面
1、为什么用Python做数据分析
首先因为Python可以轻松地集成C、C++、Fortran代码，一些底层用C写的算法封装在python包里后性能非常高效。并且Python与Ruby都有大量的Web框架，因此用于网站的建设，另一方面个人觉得因为Python作为解释性语言相对编译型语言更为简单，可以通过简单的脚本处理大量的数据。而组织内部统一使用的语言将大大提高工作效率。
2、为什么用R做数据分析
R的优势在于有包罗万象的统计函数可以调用，特别是在时间序列分析方面（主要用在金融分析与趋势预测）无论是经典还是前沿的方法都有相应的包直接使用；相比python在这方面贫乏不少。另外R语言具有强大的可视化功能，一个散点图箱线图可以用一条程序搞定，相比Excel更加简单。
在使用环境方面，SAS在企业、政府及军事机构使用较多，因其权威认证；SPSS、R大多用于科研机构，企业级应用方面已有大量的商业化R软件，同时可结合（具体怎么结合，尚未搞明白）Hadoop进行数据挖掘。 参考技术B 先来设置两个url地址，第一个用于第一次访问，这样可以获得网站服务器发来的cookie，第二个网址是用于登陆的地址
引入两个模块，cookielib和urllib2
接着，我们安装一个cookie处理器，代码如下，这个代码很多人不太能读懂，其实你会用就可以了，他们就是这个固定的形式，顶多改改变量的名字。你复制下来以后自己用就可以了，用多了，你再去看代码的意义，你就都懂了。
然后我们先访问一下网站，获得一个cookie，你不用管这个cookie该怎么弄，前面设置的cookie处理器会自动处理。
接着，我们写一下postdata，也就是你要post的数据，因为我们打算登陆网站，所以postdata里肯定有用户名和密码，那么怎么知道该怎么写postdata呢？看你抓包得到的post数据。下面第一幅图是httpwatch抓包截图，点击postdata，看到post的数据，然后我们看第二幅图，就是python的写法。你自己感受一下。
写完postdata以后，我们 要将postdata转码一下，让服务器可以解读postdata数据
接着设置headers信息，headers也是抓包得到的。同样的方式，你去写header内的信息
然后我们通过request方法来登陆网站，并返回数据，返回的数据存储在request中
通过rulopen方法和read方法来读取数据，并打印出来。
我们看到输出的结果，这说明我们虽然正确的模拟了登陆网站需要的post信息，但是没有考虑到登陆网站是需要验证码的，后期我们会看到如何处理验证码，如果你拿这个教程去处理没有验证码的登陆问题，那么你现在已经成功了。

如何搞定熵权topsis？

参考技术A 一、分析前准备

1.研究背景

TOPSIS法用于研究评价对象与‘理想解’的距离情况，结合‘理想解’（正理想解和负理想解），计算得到最终接近程度C值。熵权TOPSIS法核心在于TOPSIS，但在计算数据时，首先会利用熵值（熵权法）计算得到各评价指标的权重，并且将评价指标数据与权重相乘，得到新的数据，利用新数据进行TOPSIS法研究。

通俗地讲，熵权TOPSIS法是先使用熵权法得到新数据newdata（数据成熵权法计算得到的权重），然后利用新数据newdata进行TOPSIS法研究。

例如：当前有一个项目进行招标，共有4个承包商，分别是A,B,C,D厂。由于招标需要考虑多个因素，各个方案指标的优劣程度也并不统一。为了保证评价过程中的客观、公正性。因此，考虑通过熵权TOPSIS法，对各个方案进行综合评价，从而选出最优方案。

2.数据格式

熵权TOPSIS法用于研究指标与理想解的接近度情况。1个指标占用1列数据。1个研究对象为1行，但研究对象在分析时并不需要使用，SPSSAU默认会从上到下依次编号。

二、SPSSAU操作

（1）登录账号后进入SPSSAU页面，点击右上角“上传数据”，将处理好的数据进行“点击上传文件”上传即可。

（2）拖拽分析项

在“综合评价”模块中选择“熵权topsis”方法，将分析项拖拽到右侧分析框中，点击“开始分析”即可。

三、SPSSAU数据处理

1.数据正向化/逆向化处理

如果数据中有逆向指标（数字越大反而越不好的意思），此时需要使用‘SPSSAU数据处理->生成变量’的‘逆向化’功能处理。让数据变成正向指标（即数字越大越好的意思）。

‘逆向化’的数据计算公式为：（Max-X）/(Max-Min)，明显可以看出，针对逆向指标进行‘逆向化’处理后，数据就会变成正向指标。

【SPSSAU】数据无量纲化处理 | 数据分析常见问题解答

2．数据标准化处理

针对数据进行标准化处理，目的在于解决量纲化问题。常见的标准化处理方法有：‘归一化’，‘区间化’，‘均值化’等。

（1）‘归一化’将所有数据压缩在0到1之间；

（2）‘区间化‘将所有数据压缩在自己设定的区间；

（3）‘均值化’= 当前值 / 平均值。

补充说明：

一般而言，如果数据全部都大于0，建议使用‘均值化’；如果数据中有负数或者0，建议做‘区间化’让数据限定在一个区间（SPSSAU默认1~2之间）；当然也可以考虑‘归一化’，让数据全部介于0~1之间。

具体标准化的处理方式有很多种，具体结合文献和自身数据选择使用即可。不同的处理方式肯定会带来不同的结果，但结论一般不会有太大的偏倚。

（如果数据进行了正/逆向化处理就不需要再进行标准化处理。）

四、SPSSAU分析

背景：当前有6个国家经济技术开发区，分别在政务系统的4个指标上的评分值。数字越大表示指标越优。当前希望利用熵权TOPSIS法评价出6个开发区的政务系统排名情况。原始数据如下：

本案例数据中包括4个政务系统的评价指标，而且全部都是正向指标，因此不需要进行正向化或者逆向化处理。以及接着数据标准化解决量纲问题上，本例子使用‘均值化’处理方法。操作为SPSSAU数据处理->生成变量：

完成数据‘均值化’处理后，直接开始进行‘熵值TOPSIS法’分析，操作如下图：

1.熵值法计算权重结果汇总

上表格展示出4个政务系统指标的权重值，明显可以看出指标3的权重更大。但权重大小仅仅是过程值，熵值TOPSIS分析重心在于TOPSIS法计算出相对接近度。权重值与数据相乘，得到新数据newdata，这一过程是SPSSAU自动完成，利用newdata进行TOPSIS法计算。

2.TOPSIS评价计算结果

从上表可知，利用熵权法后加权生成的数据(算法自动完成)进行TOPSIS分析，针对4个指标(MC_政务系统指标1, MC_政务系统指标2, MC_政务系统指标3, MC_政务系统指标4)，进行TOPSIS评价，同时评价对象为6个（样本量数量即为评价对象数量）；

TOPSIS法首先找出评价指标的正负理想解值(A+和A-)，接着计算出各评价对象分别与正负理想解的距离值D+和D-。根据D+和D-值，最终计算得出各评价对象与最优方案的接近程度(C值)，并可针对C值进行排序。

最终从上表可知：评价对象4，即开发区4，它的相对接近度C值最高为0.9995，因而说明开发区4在政务系统上的表现最优；其次是开发区3，相对接近度C起来0.8141。开发区1的政务系统表现最差。

3.正负理想解

4.描述统计

分析数据完整并无缺失等，可通过上表格查看各分析项的平均值或标准差值等。从上表格可以看出四个分析项的样本量均为6，平均值均为1。

五、其他说明

1.如果分析数据中有负数或者0值如何办？

如果分析数据有负数或者0，这会导致无法进行熵值法计算，SPSSAU算法默认会进行‘非负平移’处理。SPSSAU非负平移功能是指，如果某列（某指标）数据出现小于等于0，则让该列数据同时加上一个‘平移值’（该值为某列数据最小值的绝对值+0.01），以便让数据全部都大于0，因而满足算法要求。

2. 面板数据如何进行熵值TOPSIS法？

熵值TOPSIS法的原理是先进行熵值法，然后再进行TOPSIS法。无论是面板或者非面板数据，均可正常进行熵值TOPSIS法研究，并不需要特别处理。（当然面板数据进行分析时，也可以先筛选出不同的年份，重复进行多次均可）。

六、总结

熵权TOPSIS法分别涉及熵权法和TOPSIS法；熵权法计算各评价指标的权重值，然后利用权重值乘原始数据，得到newdata。系统利用newdata进行TOPSIS法进行计算，最终得到各评价对象的接近程序C值，用于判断和衡量评价对象的优劣排序等。

今天的分享就到这里啦，更多干货请前往 SPSSAU 官网查看。