当Excel大老碰到2G的XML数据，好戏来了真实案例

Posted 2022-02-11 Python_金钱豹

这周碰到一个工作中的案例，可以很好的帮助初学者理解Excel，Python和数据可视化平台（比如Tableau）之间的关系。

虽然案例隐掉了具体数据内容，但是数据量和整个过程是真实的，很有参考价值。

Tom的烦恼

公司有一个很棒的销售，属于技术性销售，很善于分析数据，从数据中找线索。我们称他为Tom吧。

Tom很擅长使用Excel，可以用Excel轻松的做出各种数据透视图和分析报表。

这种：

这种：

还有这种：

这周Tom遇到了一个难题。他从某个数据网站上下载了一份大的数据。有多大呢，2个G。而且数据格式是XML。

XML也是一种很常见的数据格式，在JSON和Restful统治网络之前，它是王者，现在仍然是很重要的数据格式。下面是一个XML片段：

这下Tom很为难！首先这么大的文件，根本打不开；再者了，XML格式无法用Excel处理。

解决方法

烦恼了半小时后，善于学习的Tom想到了Excel之外的技术 - Python。

如果用Python去读取这个大文件，然后再转成Excel能够读取的CSV文件。是不是就可以了呢？应该可以！

Tom学过一点Python，但是感觉自己不知道如何下手写代码。

❝ 至少Tom学习过一点，虽然没能力写出很复杂的代码， 但当遇到问题的时候，能够有思路。这是在解决问题上及其重要的一步。

于是Tom找了一个程序员帮忙，最后他们比较好的解决了这个问题。最终解决的步骤是这样的：

• 用Python读取大文件。Python可以一行行的读取数据，所以文件大不是问题。
• 读取出的XML数据转换成CSV格式。
• 由于行数太多，每80万行数据保存一个新的文件，否则Excel还是打不开。
• 用Excel打开解析好的CSV文件。一旦能用Excel打开了，就进入了Tom擅长的领域。

这样基本上遇到了Tom的问题，但是并不完美。因为每个月都会有一份这样的大文件。虽然通过Python转成Excel以后能够处理本月的数据，但是无法进行跨月的数据分析。

所以他打算做进一步的优化，大致思路是这样的：

• 每个月把数据存放到数据库。
• 用Tableau连接到数据库，在Tableau上做数据分析和可视化。

这样数据就都打通了：

而且有了Tableau这个平台，分享和查看就更方便了：

总结和建议

在这个真实的例子中：

• 使用Python是为了更方便的处理数据，或者说是为了自动化。
• 处理完了数据，很可能还是要用Excel去进一步处理或者查看的。毕竟Excel要方便的多，可以随意修改，做过滤等等。
• 为了更加系统的分析，串联这些数据，可能会使用Tableau等更专业的数据分析平台。

所以这些技术完全不冲突，而且会互相补充，共同完成复杂的工作。

❝ 有时候广告中会把它们对立起来，那完全是为了通过标题吸引流量，不用太认真。

❞

希望本文能给小白解惑。如果你想学习Python，或者Excel，或者Tableau都完全不用犹豫，不用担心它们会冲突。多多学习是永远不会错的。

关于Python技术储备

学好 Python 不论是就业还是做副业赚钱都不错，但要学会 Python 还是要有一个学习规划。最后大家分享一份全套的 Python 学习资料，给那些想学习 Python 的小伙伴们一点帮助！

一、Python所有方向的学习路线

Python所有方向路线就是把Python常用的技术点做整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

二、学习软件

工欲善其事必先利其器。学习Python常用的开发软件都在这里了，给大家节省了很多时间。

三、入门学习视频

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了。

四、实战案例

光学理论是没用的，要学会跟着一起敲，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

五、面试资料

我们学习Python必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有阿里大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

这份完整版的Python全套学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】