[Python知识库]pandas 分批读取大量数据

分批读取

大量数据，无法一次性读入内存，所以需分批读取，每次处理一小块数据。

df = pandas.read_csv("xxxx.csv",encoding="utf-8",chunksize=300000)
#每块数据 30w 行

for i in df:
	print(i.head())

如图：每一块都有header

分批写入

处理完的每一块数据，追加写入文件中（磁盘）

per_df.to_csv("target.csv",index=False,mode="a",na_rep="null",sep=",",columns=["name","age",],header=False)

#index 是否写入行号
#mode 写入的模式  w,替换写入； a，追加写入
#na_rep 缺失值替换为xxx
#sep 值之间的分隔符
#columns 需要哪些列，写入文件
#header 是否写入字段名