[Python知识库]工作中一个简单python数据处理

工作中一个简单python数据处理

工作中需要parsing一些短信数据，会有接口直接将数据导入到csv文件，但是报告时需要统计csv文件中数据频率，所以写了一个python脚本做一些简单处理。
流程：
1.读取相应文件夹及相应csv文件
2.取出csv文件相应列进行统计
3.使用pyplot绘制柱状图

import os
import csv 
import matplotlib.pyplot as plt

data_path = 'D:\csv\\'
file_list = os.listdir(data_path)

dictionary = {}
dbig150 = {}
total = 0
for f in file_list:
    csv_reader = csv.reader(open(data_path+str(f)))
    i = 0
    for line in csv_reader:
        if i == 0:
            i = 1
            continue
        data = line[7]
        cnt = int(line[8])
        total += cnt
        x = int(data[9:])
        if(x<0):
            print("x=",x)
        if(x>150):
            if x not in dbig150:
                dbig150[x] = cnt
            else:
                dbig150 += cnt
            x = 150
        if x not in dictionary:
            dictionary[x] = cnt
        else:
            dictionary[x] += cnt
temp = sorted(dbig150)
print("total=",total)
sorted(dictionary.keys())
plt.bar(list(dictionary.keys()),dictionary.values(),color='g')
plt.show()