[Python知识库]Python数据清洗

标题异常值的处理

1.将异常值替换为空值，然后删除空值

import pandas as pd
data=pd.read_csv('E:\\Pylearning\\test.csv')
print(data)
data['价格'][data['价格']>1000]=None
print(data.dropna())

2.将异常值替换为空值，然后进行数据插补

data['价格'][data['价格']>1000]=None
print(data.fillna(data.mean()))

乱码处理

编码格式信息一般在标签中，可以了解后，为相应对象指定这种编码格式

response.encoding='gbk'

也可以直接通过apparent_encoding 属性

response.encoding=response.apparent_encoding

此外，还有一种常见代码是以’\u’开头的十六进制字符串，需要通过编码转化的方式解码

str_16_1="b'\\u4f60\\u597d"
print(str_16_1.encode('utf-8').decode('unicode_escape'))