开启数据分析的大门-数据收集:Python对文件的操作

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了开启数据分析的大门-数据收集:Python对文件的操作相关的知识,希望对你有一定的参考价值。

参考技术A

简介

我是一名应届经济学毕业生,在学习Python语言的过程中,接触到了数据分析,机器学习和人工智能,并对此特别感兴趣,现在我把整个学习过程记录下来,希望和我有相同兴趣和爱好的朋友们一同成长,期盼着各位专家的指导。


环境介绍

在整个过程当中,将采用Python和Excel,采用Python,是因为Python提供了丰富的开发框架和工具库,使用Excel是因为Excel是使用非常广泛的办公软件,我在Excel里将复杂的算法简单化,使大家快速理解各种难以理解的算法。

在开始之前,我们已经准备好了Anaconda和Excel环境。在这里省略了这个过程。

数据获取将通过tushare开放平台,后面我会介绍和演示如何应用tushare平台。

数据分析流程简介

数据分析是由数据收集开始,收集的数据经过标准化处理和整理后,通过各种算法,进行数据分析,目的是为了总结过去的 历史 数据,在数据趋势上预测未来的走势,同时对现存的环境进行优化。

我们今天先从数据收集开始。

数据收集需要应用到Python对文件的读写操作。

下面这段代码以只读方式采用’UTF-8’编码方式打开当前目录下的text1.txt文件,并输出到屏幕上。操作完毕后,关闭文件。

小贴士:在从tushare平台获取数据时,每个用户会分配到一个key,我们可以把这个key封装到这个文件里。为的是数据安全和便利性。

Python对数据的处理主要是csv文件格式,Excel和数据库。今天我们主要针对csv文件进行操作。为的是尽快开始我们的数据分析之旅。后面在适当的时候,我来完成对Excel和数据库的操作。

Python 读取csv文件有很多种方法,我们这里采用PANDAS库,下面是读取csv文件代码:

下面这段代码先生成数据列表,然后写入csv文件。


好了,到现在为止,Python对数据收集的基础工作就算完成了,Python对文件操作有很多技巧,不是我们这一系列的重点,就不一一介绍了,有兴趣的伙伴可以查阅相关文档。

以上是关于开启数据分析的大门-数据收集:Python对文件的操作的主要内容,如果未能解决你的问题,请参考以下文章

《Python蜘蛛入门》不得了,开启新世界大门丨评论送书

《Python蜘蛛入门》不得了,开启新世界大门丨评论送书

开启万物互联时代大门的钥匙,就在每一位 HarmonyOS 开发者的手中

开启10046事件的方法收集

第三百五十四节,Python分布式爬虫打造搜索引擎Scrapy精讲—数据收集(Stats Collection)

oracle收集统计信息无法开并行