两DataFrame的时间索引反向/求差集,查找缺失时间数据

两DataFrame的时间索引反向/求差集,查找缺失时间数据


手动反爬虫,禁止转载: 原博地址 https://blog.csdn.net/lys_828/article/details/121865192(CSDN博主:Be_melting)

 知识梳理不易,请尊重劳动成果,文章仅发布在CSDN网站上,在其他网站看到该博文均属于未经作者授权的恶意爬取信息

1 构造两个时间DataFrame数据

import pandas as pd

index =  pd.date_range('2021-10-01','2021-10-31')
df2 = pd.DataFrame(index = index,data =list(range(1,32)))


df1 = pd.DataFrame({
    
    'date':['2021-10-03','2021-10-05'],
					'data':[1,3]})

两个数据输出为:
在这里插入图片描述

2 目的

实现缺失时间数据的查找,即是找到df2中的时间不在df1中出现的内容,也就是两者直接取差集,最终的结果就是获得2021年10月份除去1号和3号后所有的时间数据。

首先需要做的就是将df1中的时间字段转化一下时间索引,并取出df2中的时间索引,方便后续的操作。

data_range = df2.index  
df1.date =(pd.to_datetime(df1.date))
df1.set_index('date',inplace = True)
df1

输出结果如下:
在这里插入图片描述

3 实现方式

3.1 方式一

通过添加数据后去重,将df2中的时间整合到df1中,然后再把重复的元素全部删除,代码如下

miss_date_1 = data_range.append(df1.index).drop_duplicates(keep=False)
print(miss_date_1)
print(len(miss_date_1))

输出结果如下:
在这里插入图片描述
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)

df2.loc[miss_date_1].head()

在这里插入图片描述

3.2 方式二

利用列表推导式进行循环判断,输出满足的时间数据索引,代码如下:

miss_date_2 = [i for i in data_range if i not in df1.index]
print(miss_date_2)
print(len(miss_date_2))

输出结果如下:
在这里插入图片描述
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行)

df2.loc[miss_date_2].head()

在这里插入图片描述

3.3 方式三

利用集合进行去重,也是最简单的方式,代码如下:

miss_date_3 = list(set(data_range) - set(df1.index))
print(miss_date_3)
print(len(miss_date_3))

输出结果如下:
在这里插入图片描述
获取缺失数据代码及输出结果如下:(为了显示方便只输出前五行,需要注意集合中的元素是无序的)

df2.loc[miss_date_3].head()

在这里插入图片描述
问题也不大,按照index进行一个排序就可以了,总体上来看还是最后一种方式最为简单。

df2.loc[miss_date_3].sort_index().head()

输出如下:

在这里插入图片描述

Guess you like

Origin blog.csdn.net/lys_828/article/details/121865192