如何优雅地将dat，txt 或者excel 文件导入python

Posted 2023-03-26

参考技术A

作者：iamzcr
链接：https://www.zhihu.com/question/33535414/answer/56860505
来源：知乎
著作权归作者所有，转载请联系作者获得授权。

为什么一定要用python呢，你用excel写一条公式，类似于：
=array('filter'=>"&A&")
然后按住右下角的十字架，一直往下拖，一堆数组就出来了，然后用php写进去就好了

#-*- coding: utf-8 -*-
#encoding=utf-8
import mysqldb
import xlrd
#打开excel
data = xlrd.open_workbook('testpython.xls')
#根据名字拿到excel的某个表
table = data.sheet_by_name('Sheet1')
#行数
nrows = table.nrows
for rownum in range(1,nrows):
row = table.row_values(rownum)
print len(row)

# 打开数据库连接
db = MySQLdb.connect("localhost","root","","pythonmysql" )
#链接资源
cursor = db.cursor()

# SQL 插入语句
sql = 'insert into pyuser (username,password, email, qq) values("%s", "%s","%s","%s")' % \\
(row[0],row[1],row[2],row[3])
print sql
try:
  # 执行sql语句
  cursor.execute(sql)
  # 提交到数据库执行
  db.commit()
except:
  db.rollback()
# 关闭数据库连接
db.close()

python将txt导入到excel

参考技术A 你说的是使用python读取dat，txt类型文件或excel文件吧，这里我不清楚dat类型文件是什么类型的文件，数据格式是怎样的，所以主要讲一下如何简单快捷的读取txt文件指定的列数据和excel文件指定的列数据，主要用到numpy，pandas这两个包，这两个主要做科学计算和数据处理，python处理实验数据，经常要用到这两个包，至于dat类型的文件，我提供一种可能的思路，实验环境win7+python3.6+pycharm，主要步骤如下：

1.读取txt文件指定列。这里主要用到numpy这个包，以及其包含的loadtxt函数，读取的前提是txt文件不是完全的杂乱无章，没有一点格式、结构可循，如果真的是这样，建议手动调整一下格式，使其尽量保持一定的格式结果，然后再读取，不然的话，会出现错误，我这里新建了一个txt文件，样本内容如下，每行的数据以3个空格为间隔，一般情况下，实验所产生的txt数据都是有一定结构的：

对应读取的代码如下，这里以读取1，3列数据为例，很简单：

程序运行结果如下，已经成功打印出1，3列数据：

2.读取excel文件指定的列。这里主要用到pandas这个包，以及其包含的read_excel函数，因为excel数据本来就是有一定格式的，所以读起来就简单了许多，这里我新建了一个excel文件，样本数据如下：

对应读取的代码如下，这里以读取1，3列数据为例，很简单：

程序运行结果如下，已经成功打印出1，3列数据：

3.至于dat文件的话，这里提供一种可能思路，如果dat文件可以直接用记事打开的话，并且数据可以正常显示，没有乱码的情况下，有一定的格式可循，可以将其看作一个普通文件，使用python的open函数进行读取，将读取的数据存储在一个list列表中，或者使用特定软件将其转换成txt或excel文件后，再进行读取。如果是特殊类型的文件，这个就不好说了，这里就要自己想办法了。

至于后面如何进行可视化绘图，我就不多说了，像matplotlib等数据可视化包都可以。至此，就完成了这3中类型文件的读取，总的来说，实现起来不难，都有现成的包可直接利用，方便了许多，当然你也可以用其他包或者自己来实现，这个就因人而异了，只要能正常的读取实验数据就行，网上也有这方面的资料，你可以参考一下，希望以上分享的内容能对你有所帮助吧。