一、为什么要学习pandas中的时间序列
不管在什么行业中,时间序列都是很重要的一种数据形式,很多统计数据也都和时间序列有非常重要的联系,在pandas中处理时间序列也是非常简单的。
(一)生成一段时间范围,
返回为<class ‘pandas.core.indexes.datetimes.DatetimeIndex’>类型数据
import pandas as pd
pd.date_range(start=None,end=None,periods=None,freq='D')
在dataframe中使用时间序列:生成一段时间序列作为dataframe的索引
import pandas as pd
import numpy as np
index=pd.date_range('20170101',periods=10)
df=pd.DataFrame(np.random.rand(10),index=index)
print(df)
(二)pandas重采样
#将时间序列从一个频率转换为另一个频率的处理过程,将高频转低频为降采样,低频转高频为升采样。 resample方法可实现此功能。 具体应用:假设有几万行高频数据,需要进行精简,resample(‘M’)表示精简为按月表示。案例如下:
二、案例
文件为美国打911电话类型数据,其基本描述如下: 可以看出共有六十万行数据,处理起来非常不方便。再看数据的前五行: 我们的任务是统计打911电话的类型走势,类型数据在title那一列,具体情况为: 可以看出先分了大类如,EMS FIRE TRAFFIC。每个大类里又有很多小类。 先把时间字符串转化为时间类型,稍后设置为索引。
df["timeStamp"] = pd.to_datetime(df["timeStamp"])
再将报警事件中的大类分离出来
temp_list = df["title"].str.split(":").tolist()
cate_list = [i[0] for i in temp_list]
给df增加一列,用于储存分类信息,并设置索引。之所以要在此处设置索引是因为给df增加一列时要求索引相同,若在前面设置索引了此处就无法增加列了。
a = np.array(cate_list).reshape((df.shape[0], 1))
df["cate"] = pd.DataFrame(a)
df.set_index("timeStamp", inplace=True)
此时df为: timeStamp已经被设置为时间序列的索引了,并且增加了一列cate,包含了分类信息。 将cate分组,再进行遍历,再绘图
plt.figure(figsize=(20,8))
for group_name, group_data in df.groupby(by='cate'):
count_by_month = group_data.resample("M").count()["title"]
_x = count_by_month.index
_y = count_by_month.values
_x = [i.strftime("%Y%m%d") for i in _x]
plt.plot(range(len(_x)), _y, label=group_name)
plt.xticks(range(len(_x)), _x, rotation=45)
plt.legend(loc=0)
plt.show()
|