两DataFrame的时间索引反向/求差集,查找缺失时间数据
手动反爬虫,禁止转载:
原博地址 https://blog.csdn.net/lys_828/article/details/121865192(CSDN博主:Be_melting)
知识梳理不易,请尊重劳动成果,文章仅发布在CSDN网站上,在其他网站看到该博文均属于未经作者授权的恶意爬取信息
1 构造两个时间DataFrame数据
import pandas as pd
index = pd.date_range('2021-10-01','2021-10-31')
df2 = pd.DataFrame(index = index,data =list(range(1,32)))
df1 = pd.DataFrame({'date':['2021-10-03','2021-10-05'],
'data':[1,3]})
两个数据输出为:
2 目的
实现缺失时间数据的查找,即是找到df2中的时间不在df1中出现的内容,也就是两者直接取差集,最终的结果就是获得2021年10月份除去1号和3号后所有的时间数据。
首先需要做的就是将df1中的时间字段转化一下时间索引,并取出df2中的时间索引,方便后续的操作。
data_range = df2.index
df1.date =(pd.to_datetime(df1.date))
df1.set_index('date',inplace = True)
df1
输出结果如下:
3 实现方式
3.1 方式一
通过添加数据后去重,将df2中的时间整合到df1中,然后再把重复的元素全部删除,代码如下
miss_date_1 = data_range.append(df1.index).drop_duplicates(keep=False)
print(miss_date_1)
print(len(miss_date_1))
输出结果如下: 获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)
df2.loc[miss_date_1].head()
3.2 方式二
利用列表推导式进行循环判断,输出满足的时间数据索引,代码如下:
miss_date_2 = [i for i in data_range if i not in df1.index]
print(miss_date_2)
print(len(miss_date_2))
输出结果如下: 获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)
df2.loc[miss_date_2].head()
3.3 方式三
利用集合进行去重,也是最简单的方式,代码如下:
miss_date_3 = list(set(data_range) - set(df1.index))
print(miss_date_3)
print(len(miss_date_3))
输出结果如下: 获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行,需要注意集合中的元素是无序的)
df2.loc[miss_date_3].head()
问题也不大,按照index进行一个排序就可以了,总体上来看还是最后一种方式最为简单。
df2.loc[miss_date_3].sort_index().head()
输出如下:
|