数据处理简单对比：Excel，SQL，Python
Posted
tags:
篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了数据处理简单对比：Excel，SQL，Python相关的知识，希望对你有一定的参考价值。
参考技术A无论是什么工具，做数据分析的时候一定会涉及到两类工作：
这篇文章简单对比一下Excel、SQL和Python在这两类任务上的实现过程，从而对比其异同。
如图所示，所涉及的共有三个表：
可以看到，score表通过sno和student表连接、通过cno和course表连接。
另外，这张截图截自Excel，主要是为了方便后面Excel部分的讨论。
现在，我想要合并三张表，得到新表merge_table，表包含的列一次为：sno，cno，degree，sname，cname。
即，新表中包含score表的所有列，student表的sname列，以及course表的cname列。
为了讨论方便，先上结果：
首先，在 A17:E17 单元格创建所需列名，然后通过简单复制粘贴得到 A18:C28 这三列的数据。
D、E列的数据可以通过以下两种方法实现：
两种方法实现逻辑和结果都一样，但前者调用的时候比后者稍复杂。为了说明，D列数据的提取我使用了方法1，E列数据的提取我使用了方法2。
D列：
首先在 D18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 D28 。
E列：
在 E18 单元格输入以下函数（函数中的单元格所对应的数据请看图01）
接着下拉函数至 E28 。
注意，如果要提取某个表中的多个列的数据，比如除了sname，我还想得到ssex、sbirthday和class的数据，由于这些列是一同储存在student表中的，用 VLOOPKUP() 显然更高效。
如果想要加快效率，还可以在原student表上新增一行，用数字x来表示第x列，然后在调用 VLOOPKUP() 时，直接把第三个参数指向这一行。
在合并关联表上，SQL非常便捷。实现的语句有两个（先创建或者导入原数据表）：
或
两种方法返回的结果相同，结果如下：
我用的mysql，不知道为什么合并后行的顺序变了=。=
在Python中，首先导入 numpy 和 pandas 模块：
接着导入数据表。
之后通过以下语句实现merge_table表的建立：
结果如下：
现在假设score表多了一行数据：
如图所示，蓝色部分为多出的数据，且课程6-106在course表中不存在。请无视逻辑问题，主要是为了方便讨论:）
遇到这种情况，上述的实现方法会出现一个问题：
因为课程号6-106在course表里并不存在，所以函数在返回值的时候出错了。
解决的办法有一个，就是在原函数上嵌套 IF() 函数。比如我把 E29 的函数更改为：
如果函数计算结果错误，则返回0。
在SQL中，如果出现此类情况， LEFT JOIN 会返回NULL值：
如果想把NULL值替换为0，查询合并表的时候可以加上 isnull() 函数（MySQL中此函数写作 ifnull() ）：
如果函数计算结果错误，则返回0
返回结果和Excel的差不多，就不上图了。
Python中情况类似：
如果想把NaN值替换为0，只需要在创建merge_table表之后，添加一行语句：
返回结果也不上图了，和Excel的一样。
面对合并表中数据不匹配，SQL和Python中都可以在合并表的时候把多出项忽略不计，只要把 LEFT JOIN 换成 INNER JOIN 就行了。但Excel不能自动删除多出项所在行。
为了方便，现在做一个透视表，该表返回 选了课的同学的学号和其平均课程成绩 。
三个软件对于透视表的实现都很友好，并且效率相近。
Excel在数据透视表工具下把列各种拖拽就行了。
另外，Excel的数据透视表可以选择返回合计（Grand Total）或者不返回。
语句：
结果：
语句：
结果：
一般做透视表的最终目的是作图，毕竟一图胜千语。
从这个目的出发，Python比SQL、Excel更实用，一来Python比Excel作图高效很多，二来SQL不能作图。
通过上述对比可以发现，Excel合并关联表比SQL、Python要低效得多，而且在“数据不匹配”问题上解决得不好；而在另一方面，三者在创建透视表上表现相似，就看你习惯用哪个了:)
对比Excel学Python数据可视化
就是利用Python生成各种图表，也是本书的核心。
1、条形图
#导入要用的matplotlib库
import matplotlib.pyplot as plt import numpy as np
#解决乱码问题 plt.rcParams["font.sans-serif"]=‘SimHei‘
#（在Y轴上分为1等份,在X轴上分为1等份,画布位于1象限）
plt.subplot(1,1,1) #传入基础数据 x = np.array(["东区","南区","西区","北区"]) y1 = np.array([7566,6555,5335,6310]) y2 = np.array([4500,4555,3335,5310]) #设置基本属性 plt.title("柱线图",loc="center") plt.xlabel("分区") plt.ylabel("任务量") plt.barh(x,height=0.5,label = "任务量",width = y1) #显示图例 plt.legend()
#不显示网格 plt.grid(False) #迭代赋值 for a,b in zip(x,y1): plt.text(b,a,a,ha="center",va="bottom",fontsize = 12)
#将图片存入桌面 plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\条形图")
2、折线图
#折线图 import matplotlib.pyplot as plt import numpy as np %matplotlib inline plt.rcParams["font.sans-serif"]=‘SimHei‘ plt.subplot(1,1,1) # plt.subplots(1,1) plt.xlabel("月份",) plt.ylabel("注册量") # plt.xticks(ticks,labels) # plt.yticks(ticks,labels) # plt.xticks(np.arange(12),["0","1月份","2月份","3月份","4月份","5月份","6月份","7月份","8月份","9月份","10月份","11月份"]) # plt.yticks(np.arange(1000,7000,1000),["1000人","2000人","3000人","4000人","5000人","6000人","7000","8000"]) plt.xticks(np.arange(12)) x = np.array([1,2,3,4,5,6,7,8,9,10,11]) y = np.array([866,2335,5710,6482,6120,1605,3813,4428,4631,1001,1002]) plt.plot(x,y,color = "r",linestyle = "dashdot",linewidth = 1,marker = "v",markersize = 5,label = "注册用户数") # linewidth = 1,marker = "o",) plt.title("XXX公司1-9月注册用户量",loc = "center") for a,b in zip(x,y): plt.text(a,b,b,ha=‘center‘,va = ‘bottom‘,fontsize = 10) plt.grid(b = True) plt.legend() # plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\折线图")
3、气泡图
#气泡图 import matplotlib.pyplot as plt import numpy as np %matplotlib inline plt.rcParams["font.sans-serif"]=‘SimHei‘ plt.subplot(1,1,1) plt.xlabel("月份",) plt.ylabel("注册量") plt.title("XXX公司1-9月注册用户量",loc = "center") x = np.array([1,2,3,4,5,6,7,8,9,10,11]) y = np.array([6,35,10,82,20,15,13,28,31,10,12]) # colors = y*10 #无用？ area = y*20 plt.scatter(x,y,marker = "o",s = area) for a,b in zip(x,y): plt.text(a,b,b,ha=‘center‘,va = ‘center‘,fontsize = 12,color = "white") plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\气泡图")
4、柱形图-堆积图
#柱形图 import matplotlib.pyplot as plt import numpy as np plt.rcParams["font.sans-serif"]=‘SimHei‘ plt.subplot(1,1,1) # x = np.array(["东区","南区","西区","北区"]) x = np.array([1,2,3,4]) plt.xticks(x+0.1,["东区","南区","西区","北区"]) y1 = np.array([7566,6555,5335,6310]) y2 = np.array([4500,4555,3335,5310]) plt.title("柱线图",loc="center") plt.xlabel("分区") plt.ylabel("任务量") plt.bar(x,y1,label = "任务量",width = 0.3) # plt.bar(x+0.3,y2,label = "完成量",width = 0.3) plt.bar(x,y2,label = "完成量",width = 0.3) plt.legend() plt.grid(False) for a,b in zip(x,y1): plt.text(a,b,b,ha="center",va="bottom",fontsize = 12) # for a,b in zip(x+0.3,y2): # plt.text(a,b,b,ha="center",va="bottom",fontsize = 12) for a,b in zip(x,y2): plt.text(a,b,b,ha="center",va="bottom",fontsize = 12) # plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\柱形图") plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\堆积图")
5、面积图
#面积图 import matplotlib.pyplot as plt import numpy as np %matplotlib inline plt.rcParams["font.sans-serif"]=‘SimHei‘ plt.subplot(1,1,1) plt.xlabel("月份",) plt.ylabel("注册量") plt.title("XXX公司1-9月注册用户量",loc = "center") x = np.array([1,2,3,4,5,6]) y1 = np.array([6360,6555,5335,6310,5357,6666]) y2 = np.array([4500,4555,3335,5310,4444,5674]) plt.stackplot(x,y1,y2) plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\面积图")
6、树地图
#树地图 #squarify.plot(size,label,color,value,edgecolor,linewidth)r import matplotlib.pyplot as plt import numpy as np %matplotlib inline plt.rcParams["font.sans-serif"]=‘SimHei‘ import squarify size = np.array([3.4,0.693,0.585,0.570,0.562,0.531,0.530,0.524,0.501,0.478,0.468,0.436]) xingzuo = np.array(["未知","摩揭座","天秤座","双鱼座","天竭座","金牛座", "处女座","双子座","射手座","狮子座","水瓶座","白羊座"]) rate = np.array([‘34%‘,‘6.93%‘,"5.85%","5.70%","5.62%","5.31%","5.30%","5.24%","5.01%","4.78%","4.68%","4.36%"]) colors = [‘steelblue‘,‘#9999ff‘,‘red‘,‘indianred‘,‘green‘,‘yellow‘,‘orange‘] plot = squarify.plot(sizes = size, label = xingzuo, color = colors, value = rate, edgecolor = "white", linewidth = 3) plt.title("星座",fontdict = ‘fontsize‘:12) plt.axis("off") # plt.tick_params(top = ‘off‘,right = ‘off‘) plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\树地图")
7、饼图
import matplotlib.pyplot as plt import numpy as np x = np.array([5555,6666,7777,8888]) labels = ["A","B","C","D"] explode = [0.1,0,0,0] labeldistance = 1.1 plt.pie(x,labels=labels,autopct=‘%.1f%%‘,shadow=True,explode = explode,radius=1.0,labeldistance=labeldistance) # explode = explode,radius=1.0,labeldistance=labeldistance) #错误示范
8、双环形图
这个是从网上找的案例，一起总结在一块。
import matplotlib as mpl import matplotlib.pyplot as plt # 设置图片大小 plt.figure(figsize = (10, 8)) # 生成数据 labels = [‘A‘, ‘B‘, ‘C‘, ‘D‘, ‘其他‘] share_laptop = [0.45, 0.25, 0.15, 0.05, 0.10] share_pc = [0.35, 0.35, 0.08, 0.07, 0.15] colors = [‘c‘, ‘r‘, ‘y‘, ‘g‘, ‘gray‘] # 外环 wedges1, texts1, autotexts1 = plt.pie(share_laptop, autopct = ‘%3.1f%%‘, radius = 1, pctdistance = 0.85, colors = colors, startangle = 180, textprops = ‘color‘: ‘w‘, wedgeprops = ‘width‘: 0.3, ‘edgecolor‘: ‘w‘ ) # 内环 wedges2, texts2, autotexts2 = plt.pie(share_pc, autopct = ‘%3.1f%%‘, radius = 0.7, pctdistance = 0.75, colors = colors, startangle = 180, textprops = ‘color‘: ‘w‘, wedgeprops = ‘width‘: 0.3, ‘edgecolor‘: ‘w‘ ) # 图例 plt.legend(wedges1, labels, fontsize = 12, title = ‘公司列表‘, loc = ‘center right‘, bbox_to_anchor = (1, 0.6)) # 设置文本样式 plt.setp(autotexts1, size=15, weight=‘bold‘) plt.setp(autotexts2, size=15, weight=‘bold‘) plt.setp(texts1, size=15) # 标题 plt.title(‘2017年笔记本及PC电脑市场份额‘, fontsize=20) plt.savefig(r"C:\\Users\\admin\\Desktop\\新建文件夹\\环形图") plt.show()
以上是关于数据处理简单对比：Excel，SQL，Python的主要内容，如果未能解决你的问题，请参考以下文章