pandas常用方法

Posted 2023-04-22 Full-Stack-python

import pandas as pd
# 读取CSV文件
df = pd.read_csv(\'data.csv\')
# 读取Excel文件
df = pd.read_excel(\'data.xlsx\')
# 读取SQL数据
import sqlite3
conn = sqlite3.connect(\'data.sqlite\')
df = pd.read_sql_query(\'SELECT * FROM table\', conn)
# 读取JSON数据
df = pd.read_json(\'data.json\')

import pandas as pd
# 从列表创建DataFrame
data = \'name\': [\'Tom\', \'Jerry\', \'Mickey\'], \'age\': [25, 30, 35]
df = pd.DataFrame(data)
# 从字典创建DataFrame
data = [[\'Tom\', 25], [\'Jerry\', 30], [\'Mickey\', 35]]
df = pd.DataFrame(data, columns=[\'name\', \'age\'])
# 从CSV文件创建DataFrame
df = pd.read_csv(\'data.csv\')

import pandas as pd
# 删除重复行
df.drop_duplicates(inplace=True)
# 删除缺失值
df.dropna(inplace=True)
# 填充缺失值
df.fillna(value=0, inplace=True)
# 替换值
df.replace(\'old_value\', \'new_value\', inplace=True)

import pandas as pd
# 按照某一列分组
grouped = df.groupby(\'column_name\')
# 按照多列分组
grouped = df.groupby([\'column_name1\', \'column_name2\'])
# 对分组后的数据进行聚合操作
grouped.agg(\'column_name\': \'sum\')

import pandas as pd
# 按照某一列合并
merged = pd.merge(df1, df2, on=\'column_name\')
# 按照多列合并
merged = pd.merge(df1, df2, on=[\'column_name1\', \'column_name2\'])
# 连接两个DataFrame
merged = pd.concat([df1, df2], axis=0)

import pandas as pd
import matplotlib.pyplot as plt
# 绘制柱状图
df.plot(kind=\'bar\')
# 绘制折线图
df.plot(kind=\'line\')
# 绘制散点图
df.plot(kind=\'scatter\', x=\'column_name1\', y=\'column_name2\')
# 绘制饼图
df[\'column_name\'].value_counts().plot(kind=\'pie\')

import pandas as pd
# 计算平均值
df[\'column_name\'].mean()
# 计算中位数
df[\'column_name\'].median()
# 计算标准差
df[\'column_name\'].std()

import pandas as pd
# 导出CSV文件
df.to_csv(\'data.csv\', index=False)
# 导出Excel文件
df.to_excel(\'data.xlsx\', index=False)
# 导出SQL数据
import sqlite3
conn = sqlite3.connect(\'data.sqlite\')
df.to_sql(\'table_name\', conn, if_exists=\'replace\', index=False)
# 导出JSON数据
df.to_json(\'data.json\', orient=\'records\')

11.pandas里面的一些常用方法

参考技术A 1.更改列名

inplace是是否替换原数据

2.去重
DataFrame的duplicated()函数返回一个布尔型Series,表示各行是否重复行。
而 drop_duplicates()函数，它用于返回一个移除了重复行的DataFrame

PS：这两个方法会判断全部列，你也可以指定部分列进行重复项判段。
例如，希望对名字为k2的列进行去重：

3.DataFrame转list

4.DataFrame入库

5.对dataframe的行和列进行遍历和修改

遍历列 iloc函数