Python新冠疫情案例_02处理疫情数据中的异常以及丢失的数据

import seaborn as sns
import numpy as np
import pandas as pd
import matplotlib as mpl
import matplotlib.pyplot as plt
%matplotlib inline
plt.rcParams['font.sans-serif']=['Microsoft YaHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False # 用来正常显示负号
from datetime import datetime
plt.figure(figsize=(16,10))
import pyecharts.options as opts
from pyecharts.charts import Line
from pyecharts.faker import Faker
from pyecharts.charts import Bar
import os
from pyecharts.options.global_options import ThemeType

读取整理好的数据：

alldfgbcountrysum=pd.read_csv("alldfgbcountrysum.csv",encoding='utf-8-sig')

将时间转换成datetime64[ns]

alldfgbcountrysum['Date']=pd.to_datetime(alldfgbcountrysum['Date']).dt.normalize()

绘制初始图像：

alldfgbcountrysum[['Confirmed','Date']].set_index(['Date']).plot(figsize=(20,12))

在这里插入图片描述

在这里插入图片描述
解决异常数据以及数据丢失的问题

allDate=alldfgbcountrysum.copy()
allDate=allDate.groupby(['Date'])['Confirmed','Deaths','Recovered'].sum()
#对每天所有的确诊人数，死亡人数，治愈人数进行汇总求和
allDate=allDate.reset_index().replace()
allDate

在这里插入图片描述
数据当中日期的第一天：2020-2-24
数据当中日期的最后一天：2022-3-12

分析：
由于数据当中日期的第一天是：2020-2-24，从2020-2-25开始循环。24号是前一天，25号是当天，26号是后一天。
前一天确诊人数：bedata 当天确诊人数：data 后一天确诊人数：afdata

只要前一天的数据比当天的小,就说明是正常的，反之则异常，就进入循环。

异常数据当中的凸起部分：放大观察发现，异常数据是由两部分凸起组成，且第一小段的凸起大于第二小段。每小段凸起都是由一段数据构成的，在每小段凸起当中，数据仍然是增长的。
在这里插入图片描述

strftime()函数：如果已经有了datetime对象，要把它格式化为字符串显示给用户，就需要转换为str，转换方法是通过strftime()实现。
Timestamp:时间戳,指1970年01月01日00时00分00秒起至现在的总秒数。
datetime.timedelta对象代表两个时间之间的时间差，两个date或datetime对象相减就可以返回一个timedelta对象。如果有人问你昨天是几号，这个很容易就回答出来了。但是如果问你200天前是几号，则使用Python中datetime模块中的timedelta可以给出答案。
datetime.date：表示日期的类
datetime.date()：来比较两个日期（天数），这样可以截断datetime，使其具有天数而不是小时的分辨率。
drop:使用drop删除表中的某一行或者某一列，它不改变原有的df中的数据，而是返回另一个dataframe来存放删除后的数据。

import datetime
start=datetime.date(2020,2,25) 
last=datetime.date(2022,3,12)
datalist=[] # 用来存放异常数据
for i in range((last-start).days+1):
    day=start+datetime.timedelta(days=i)# 类似一个计数器，随着循环不断增加天数。
    # 前一天
    bedata=allDate[allDate['Date']==pd.Timestamp(str(day+datetime.timedelta(days=-1)))]['Confirmed'].sum()
    # 当天
    data=allDate[allDate['Date']==pd.Timestamp(str(day))]['Confirmed'].sum()
    # 后一天
#     afdata=allDate[allDate['Date']==pd.Timestamp(str(day+datetime.timedelta(days=1)))]['Confirmed'].sum()
    # 判断数据是否异常
    if(bedata>data):# 第一次进入这个条件判断是在第一个凸起与第二个凸起交界处，因为第二个凸起比第一个凸起小
        if(bedata/2<data) & (bedata>data): # 凸出来的部分，向前找异常数据
            j=-1     
            while allDate[allDate['Date']==pd.Timestamp(str(day+datetime.timedelta(days=j)))]['Confirmed'].sum()>data:
# 此时前一天的数据大于当天的数据，进入while循环。循环的作用：找出从哪天开始，数据比当天的数据要小，则从那天开始数据就是正常的，而之间的数据就都是异常数据，把异常数据保存在datalist列表里面。
                datalist.append(str(day+datetime.timedelta(days=j))) # 把异常数据变成字符串类型并且保持到列表              
                j-=1.               
        else: #进入else说明这部分异常数据是下凹的数据，向后找异常数据
            m=0 
            print(day+datetime.timedelta(days=-1))# 打印
            while bedata>allDate[allDate['Date']==pd.Timestamp(str(day+datetime.timedelta(days=m)))]['Confirmed'].sum():
                datalist.append(str(day+datetime.timedelta(days=m)))
                m+=1 
print(datalist)
allDate['Date']=allDate['Date'].apply(lambda x:x.strftime('%Y-%m-%d')) # 将Date中的数据都变成字符串类型
for i in allDate['Date']:
    if str(i) in datalist:
        print(i)
        allDate.drop(index=allDate[allDate['Date']==i].index[0],inplace=True) # 将原始数据当中包含有datalist元素的都删除

得到的结果（也就是找到的异常数据）：

2021-12-14
['2021-06-13', '2021-06-12', '2021-06-24', '2021-07-09', '2021-07-08', '2021-07-07', '2021-07-06', '2021-07-05', '2021-07-04', '2021-07-03', '2021-07-02', '2021-07-01', '2021-06-30', '2021-06-29', '2021-06-28', '2021-06-27', '2021-09-05', '2021-12-15', '2022-01-22', '2022-02-09', '2022-02-16', '2022-02-15', '2022-03-01', '2022-02-28', '2022-02-27', '2022-03-07', '2022-03-10']
2021-06-12
2021-06-13
2021-06-24
2021-06-27
2021-06-28
2021-06-29
2021-06-30
2021-07-01
2021-07-02
2021-07-03
2021-07-04
2021-07-05
2021-07-06
2021-07-07
2021-07-08
2021-07-09
2021-09-05
2021-12-15
2022-01-22
2022-02-09
2022-02-15
2022-02-16
2022-02-27
2022-02-28
2022-03-01
2022-03-07
2022-03-10

allDate=allDate.sort_values(by='Date')

整理后的异常数据：

import os
from pyecharts import options as opts
from pyecharts.charts import Bar
from pyecharts.options.global_options import ThemeType
attrmax=allDate['Date']
v1=allDate['Confirmed']
bar=(Bar(
            init_opts=opts.InitOpts(bg_color='rgba(255,250,200,0.2)',
                                   width='1500px',
                                   height='800px',
                                   page_title='疫情数据',
                                   theme=ThemeType.ROMA
            )
        )
     .add_xaxis(attrmax.to_list())
     .add_yaxis("人数",v1.to_list(),stack='stack1')
     .set_global_opts(title_opts=opts.TitleOpts(title="世界疫情数据"),
                     xaxis_opts=opts.AxisOpts(name='日期',axislabel_opts={
    
    "rotate":50}),
                     yaxis_opts=opts.AxisOpts(name='确诊人数：人'))
     .set_series_opts(label_opts=opts.LabelOpts(is_show=False))
     )
bar.render_notebook()

在这里插入图片描述

Python新冠疫情案例_02处理疫情数据中的异常以及丢失的数据

猜你喜欢