[人工智能]pandas关于date的处理与读取

在使用pandas读取文件的时候，可以使用index_col将数据的某一列直接设置为列索引；

parse_date这个参数可以将某一列数据自动解析为时间格式。

google = pd.read_csv("../datasets/GOOGL_2006-01-01_to_2018-01-01.csv", index_col='Date', parse_dates=['Date'])
google.head(5)

          Open    High     Low   Close    Volume   Name

Date
2006-01-03 211.47 218.05 209.32 217.83 13137450 GOOGL
2006-01-04 222.17 224.70 220.09 222.84 15292353 GOOGL
2006-01-05 223.22 226.00 220.97 225.85 10815661 GOOGL
2006-01-06 228.66 235.49 226.85 233.06 17759521 GOOGL
2006-01-09 233.44 236.94 230.70 233.68 12795837 GOOGL

humidity = pd.read_csv("../datasets/humidity.csv", index_col='datetime', parse_dates=['datetime'])
humidity.head(4)

                Vancouver  Portland  San Francisco  Seattle  Los Angeles  \

datetime
2012-10-01 12:00:00 NaN NaN NaN NaN NaN
2012-10-01 13:00:00 76.0 81.0 88.0 81.0 88.0
2012-10-01 14:00:00 76.0 80.0 87.0 80.0 88.0
2012-10-01 15:00:00 76.0 80.0 86.0 80.0 88.0

将时间序列转换成特定的频率，下面的.asfreq(‘M’)中，就是将时间序列数据转换成频率为月的

fig, ax = plt.subplots(figsize=(10,4), dpi=300)
humidity["Kansas City"].asfreq('M').plot(ax=ax, c='blue') # asfreq method is used to convert a time series to a specified frequency. Here it is monthly frequency.
plt.title('Humidity in Kansas City over time(Monthly frequency)')
plt.show()

时间戳和时间段

学一下时间
经常处理数据的可以遇到这样的单词：Timestamps，其实可以叫时间戳，本质上就是一个时间点。而Period,可以叫时间段，强调的是一段时间。

以个人的理解，时间戳是个时刻（标量）

# 创建一个时间点
timestamp = pd.Timestamp(2021,10,1,12)
timestamp

Timestamp(‘2021-10-01 12:00:00’)

# 创建一个时间段
period = pd.Period('2021-10-01')
# 这个时间段，默认指的就是这一天
period

Period(‘2021-10-01’, ‘D’)

# 看看上面的时间点是不是在这个时间段里面
period.start_time < timestamp < period.end_time

True

# 将时间点转换为时间段
new_period = timestamp.to_period(freq='H')
new_period

Period(‘2021-10-01 12:00’, ‘H’)

# 查看新的时间段的开始时间和结束时间
print(f"查看新的时间段的开始时间: {new_period.start_time:%Y-%m-%d %H:%M:%S} 和结束时间： {new_period.end_time:%Y-%m-%d %H:%M:%S}")

查看新的时间段的开始时间: 2021-10-01 12:00:00 和结束时间： 2021-10-01 12:59:59

# 将时间段转换为时间点
new_timestamp = period.to_timestamp(freq='H', how='start')
new_timestamp

Timestamp(‘2021-10-01 00:00:00’)

## 使用date_range

date_range可以返回一个固定频率的日期时间格式的索引，对已有的数据创建时间索引，然后处理数据。

## 使用`date_range`
`date_range`可以返回一个固定频率的日期时间格式的索引，对已有的数据创建时间索引，然后处理数据。

# 创建一个频率以天的时间索引
dr1 = pd.date_range(start='2021-10-01' ,end='2021-10-07')
dr1

DatetimeIndex([‘2021-10-01’, ‘2021-10-02’, ‘2021-10-03’, ‘2021-10-04’,
‘2021-10-05’, ‘2021-10-06’, ‘2021-10-07’],
dtype=‘datetime64[ns]’, freq=‘D’)

# 创建一个频率为月的时间索引
dr2 = pd.date_range(start='2020-10-01', end='2021-11-01', freq='M')
dr2

DatetimeIndex(['2020-10-31', '2020-11-30', '2020-12-31', '2021-01-31',
               '2021-02-28', '2021-03-31', '2021-04-30', '2021-05-31',
               '2021-06-30', '2021-07-31', '2021-08-31', '2021-09-30',
               '2021-10-31'],
              dtype='datetime64[ns]', freq='M')

# 创建一个以特定时间周期的时间索引（这里将一个时间段分成了5个时间点）
dr3 = pd.date_range(start='2021-10-01', end='2021-11-14', periods=5)
dr3

DatetimeIndex([‘2021-10-01’, ‘2021-10-12’, ‘2021-10-23’, ‘2021-11-03’,
‘2021-11-14’],
dtype=‘datetime64[ns]’, freq=None

# 如果只是同时设置start和period，会将时间向后衍生period天；
dr4 = pd.date_range(start='2021-10-01',periods=5)
dr4

DatetimeIndex([‘2021-10-01’, ‘2021-10-02’, ‘2021-10-03’, ‘2021-10-04’,
‘2021-10-05’],
dtype=‘datetime64[ns]’, freq=‘D’)

# 如果只是同时设置end和period，会将时间向前衍生period天；
dr5 = pd.date_range(end='2021-11-14', periods=5)
dr5

DatetimeIndex([‘2021-11-10’, ‘2021-11-11’, ‘2021-11-12’, ‘2021-11-13’,
‘2021-11-14’],
dtype=‘datetime64[ns]’, freq=‘D’)

【注意】遇到日期型数据或者形似日期型数据都需要格外注意

这里的date应该是日期型数据，但是是以文本型数据存储在数据集中，如果要当做日期型数据来使用的话，需要将其类型转换为日期型

将文本型数据转换为日期型

df = pd.read_csv('https://github.com/selva86/datasets/raw/master/AirPassengers.csv',parse_dates=['date']
df.info()

<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 144 entries, 0 to 143
Data columns (total 2 columns):
date 144 non-null datetime64[ns]
value 144 non-null int64
dtypes: datetime64ns, int64(1)
memory usage: 2.3 K

方法二：数据导入之后更改数据类型——pd.to_datetime()

df1 = pd.read_csv('https://github.com/selva86/datasets/raw/master/AirPassengers.csv')

df1.head(3)

df1.info()

<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 144 entries, 0 to 143
Data columns (total 2 columns):
date 144 non-null datetime64[ns] ###datetime的类型
value 144 non-null int64
dtypes: datetime64ns, int64(1)
memory usage: 2.3 KB

方法三：数据导入之后转换数据类型——datetime.datetime.strptime()

df2 = pd.read_csv('https://github.com/selva86/datasets/raw/master/AirPassengers.csv')
df2.info()

<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 144 entries, 0 to 143
Data columns (total 2 columns):
date 144 non-null object ###是一个对象类型
value 144 non-null int64
dtypes: int64(1), object(1)
memory usage: 2.3+ KB

import datetime as dt
df2.date[0]

‘1949-01-01’

dt.datetime.strptime(df2.date[0],'%Y-%m-%d')

datetime.datetime(1949, 1, 1, 0, 0)

df2['date'] = df2['date'].apply(lambda x:dt.datetime.strptime(x, "%Y-%m-%d"))
df2.info()

<class ‘pandas.core.frame.DataFrame’>
RangeIndex: 144 entries, 0 to 143
Data columns (total 2 columns):
date 144 non-null datetime64[ns]
value 144 non-null int64
dtypes: datetime64ns, int64(1)
memory usage: 2.3 KB