近期用到的函数总结：
#分组排序功能
import pandas as pd
def test_f(df,column,istopn = False,n=1):
"""
df:数据框
column:为需要对之聚合的列
istopn:返回每一组的第n行数据
"""
count = len(df)
distinct_count = df[column].nunique()
sum = df[column].sum()
avg = df[column].mean()
if istopn == True:
# 降序生序，自己注意
# df.sort_values(by=column, ascending=False)[:n] # 返回前n个
temp_data = df.sort_values(by=column, ascending=False)
temp_data['row'] = range(len(df))
return temp_data
else:
return pd.DataFrame({'count':[count],'distinct_count':[distinct_count],'sum':[sum],'avg':[avg]})
#应用函数 https ://blog.csdn.net/wendaomudong_l2d4/article/details/84818133
df_sort = df.groupby(['user']).apply(test_f,column = 'amount',istopn = True)
===============================2019-5-21-总结===============================================
df_sort
df_sort.index = range(len(df_sort))
df_sort
#分组排序求值
#https: //mp.weixin.qq.com/s?src=11×tamp=1558517199&ver=1622&signature=
#ewVTWFGVfhJknoV9tNKp6LU3gTg8qy7whwHziCriX1k0IH5sjcmlkuMutaFbQKH*xWX7*jpJQ7UGt8roQAY7PsLobAojY1rAltgvWSG04y-J55iXkU634aehmUqOtmCn&new=1
best_rating_per_price = reviews.groupby('price')['points'].max().sort_index()
best_rating_per_price.head()
#https: //blog.csdn.net/Li_qf/article/details/84852633
price_extremes = reviews.groupby('variety')['price'].agg(['max', 'min'])
price_extremes.head()
#重点分组排序一起http: //www.cnblogs.com/fatcici2017/p/6634910.html
#先筛选出还有'from'列中带有'iphone 6s'的行，然后对这些数据进行groupby，结果倒序排
#约等同于sql中的groupby+where+order by +desc
df[df['from'].str.contains('iphone 6s plus')].groupby(['from','to'])['uid'].agg({'uv':'count'}).sort_values(by='uv',ascending=0)
#字段拆分重命名
demo=pd.merge(df_6b, pd.DataFrame(df_6b["index"].str.split('-',expand=True)), how='left', left_index=True, right_index=True)
demo.head()
#多个字段合并成一个新字段，如果加一个常数值，则应该另做一个字段，然后再关联
df_5["index"]=df_5["端口"].str.cat([df_5["类型"],df_5["店铺"],df_5["month"]],sep = '-')
#字段删除或不显示
df.drop(df.columns["index"], axis=1, inplace=True)
# 可以通过subset参数来删除在age和sex中含有空数据的全部行
df4 = df4.dropna(subset=["age", "sex"])
#修改列名
a.rename(columns={'A':'a', 'B':'b', 'C':'c'}, inplace = True)
#字符串替换
df_1['店铺'] = df_1['店铺'].apply(lambda x : x.replace("较前一月",""))
#关联http: //www.cnblogs.com/keye/p/10791705.html
# 基于共同列alpha的内连接
df7 = pd.merge(df_6a,df_6b,on=["端口","类型","店铺","month"],how='inner')
# 创建DataFrame对象
df = pd.DataFrame([1, 2, 3, 4, 5], columns=['cols'], index=['a','b','c','d','e'])
# 对DataFrame对象进行列扩充
df2['col4'] = ['cnn','rnn']
================================2019-5-23-总结====================================================
#查看数据框字段的类型
#1.少量字段
df.dtypes
#2.大量字段
cols = df.columns
for col in cols:
print(col+' : '+ str(df[col].dtype))
#3.指定字段
cols = df.columns
for col in cols:
if str(df[col].dtype) == 'object':
print(col)
#4.查看每一列类型
df.info()
#5.字符串转日期并做索引
df['date'] = pd.to_datetime(df['date'])
df.set_index("date", inplace=True)
#先索引，后转类型
df2.set_index("date", inplace=True)
df2.index = pd.DatetimeIndex(df.index)
#或者df2.index = pd.DatetimeIndex(df2["date"])
# 想要真正的改变数据框，通常需要通过赋值来进行，比如
df["字段名"] = df["Customer Number"].astype("int")
##通过自定义函数清理数据
def convert_currency(var):
"""
convert the string number to a float
_ 去除$
- 去除逗号，
- 转化为浮点数类型
"""
new_value = var.replace(",","").replace("$","")
return float(new_value)
# 通过replace函数将$以及逗号去掉，然后字符串转化为浮点数，让pandas选择pandas认为合适的特定类型，float或者int，该例子中将数据转化为了float64
# 通过pandas中的apply函数将2016列中的数据全部转化
df["2016"].apply(convert_currency)
# 当然可以通过lambda 函数将这个比较简单的函数一行带过
df["2016"].apply(lambda x: x.replace(",","").replace("$","")).astype("float64")
#同样可以利用lambda表达式将PercentGrowth进行数据清理
df["Percent Growth"].apply(lambda x: x.replace("%","")).astype("float")/100
# 同样可以通过自定义函数进行解决，结果同上
# 最后一个自定义函数是利用np.where() function 将Active 列转化为布尔值。
df["Active"] = np.where(df["Active"] == "Y", True, False)
##读取文件
read_excel(io, sheetname=0, header=0, skiprows=None, skip_footer=0, index_col=None,names=None)
######字段的拆分与合并
#1.合并（字符串合并）
df_5["index"]=df_5["端口"].str.cat([df_5["类型"],df_5["店铺"],df_5["month"]],sep = '-')
df_5["index"]=df_5["端口"].str.cat(df_5["类型"],sep = '-')
#2.合并（含有数值）
df_5["index"] = df_5["index"].map(lambda x:str(x))
df_5["index"]=df_5["端口"].str.cat(df_5["类型"],sep = '-')
#3.字段拆分重命名
demo=pd.merge(df_6b, pd.DataFrame(df_6b["index"].str.split('-',expand=True)), how='left', left_index=True, right_index=True)
#分段函数:在分段的时候有6个值，但是分段的标签只有5个
#默认左开右闭，那么只需要加一个参数：right = False就可以。
df["字段"] = pd.cut(df["字段"],["阈值","阈值","阈值","阈值"],labels = ["阈值","阈值","阈值"])
#删除表中全部为NaN的行
df.dropna(axis=0,how='all')
#删除表中含有任何NaN的行
df.dropna(axis=0,how='any') #drop all rows that have any NaN values
==============================================================================================
#总结一下astype()函数有效的情形：
#数据列中的每一个单位都能简单的解释为数字(2, 2.12等）
#数据列中的每一个单位都是数值类型且向字符串object类型转换
#如果数据中含有缺失值、特殊字符astype()函数可能失效。
#使用自定义函数进行数据类型转换
#方案一
def convert_currency(value):
"""
转换字符串数字为float类型
- 移除 ￥ ,
- 转化为float类型
"""
new_value = value.replace(',', '').replace('￥', '')
return np.float(new_value)
data['2016'].apply(convert_currency)
#方案二
data['2016'].apply(lambda x: x.replace('￥', '').replace(',', '')).astype('float')
#import pandas as pd 日期函数的应用
dates = ['2017-01-05', 'Jan 5, 2017', '01/05/2017', '2017.01.05', '2017/01/05','20170105']
pd.to_datetime(dates)
===================参考博客http:// www.cnblogs.com/ onemorepoint/p/9404753.html====================================================================
#混合字符串类型替换成数值函数
def convert_currency(var):
"""
convert the string number to a float
_ 去除$
- 去除逗号，
- 转化为浮点数类型
"""
new_value = var.replace(",","").replace("$","")
return float(new_value)
#将百分数型号的字符串转化为数值类型函数
def convert_percent(value):
"""
转换字符串百分数为float类型小数
- 移除 %
- 除以100转换为小数
"""
new_value = value.replace('%', '')
return float(new_value) / 100
#导入数据进行整体形式替换
data2 = pd.read_csv("data.csv",
converters={
'客户编号': str,
'2016': convert_currency,
'2017': convert_currency,
'增长率': convert_percent,
'所属组': lambda x: pd.to_numeric(x, errors='coerce'),
'状态': lambda x: np.where(x == "Y", True, False)
},
encoding='gbk')
#可视图表的展示，要统计的值，横坐标，纵坐标，用的函数
mean_demo = temp_demo.pivot_table("2019年消费",index = "年",columns = "活跃度",aggfunc = "mean")
mean_demo
#tips.pivot_table(values=['tip_pct', 'size'], index=['sex', 'day'], columns='smoker')
#取列，求对应列的函数
a = temp_demo.columns
columns = ["2018年消费","2019年消费","百分占比","单元"]
temp_demo[columns].max()
#博客：blog.csdn.net/liuhehe123/article/details/85921930
#//blog.csdn.net/Li_qf/article/details/84852633 葡萄酒问题
#排序
sorted_varieties = price_extremes.sort_values(by=['min', 'max'], ascending=False)
sorted_varieties
#分组
price_extremes = reviews.groupby("variety").price.agg(['min','max'])
price_extremes
#1.读取数据
import pandas as pd
reviews = pd.read_csv('./winemag-data-130k-v2.csv', index_col=0)
#2.谁是品酒最多的人？创建一个由taster_twitter_handle 为索引，值为每个人品酒次数的Series
reviews_written = reviews.groupby('taster_twitter_handle').size()
reviews_written
#3.创建一个以价格(price)为索引，最高评分(points)为值的Series，排序以价格递增。
best_rating_per_price = reviews.groupby('price')['points'].max().sort_index()
best_rating_per_price.head()
#4.创建一个DataFrame，以种类(variety)为索引，值为每个种类的最大值和最小值
price_extremes = reviews.groupby('variety')['price'].agg(['max', 'min'])
price_extremes.head()
#5.对上题中price_extremes进行处理，先按min降序排列，再按max降序排列。
sorted_varieties = price_extremes.sort_values(['min', 'max'], ascending=False)
sorted_varieties.head()
#6.创建一个Series，索引为品酒师(taster_name)，值为该人所有评分(points)的平均分。
reviewer_mean_ratings = reviews.groupby('taster_name').points.mean()
reviewer_mean_ratings
#7.创建一个Series，索引为多索引{country, variety}，值为个数，按值递减。
country_variety_counts = reviews.groupby(['country', 'variety']).size().sort_values(ascending=False)
country_variety_counts.head()
#8.删除空行 blog.csdn.net/houyanhua1/article/details/87855228
df4 = df4.dropna(subset=['age', 'body','home.dest'])
df.dropna(axis=0, inplace=True) # inplace=True表示原地修改，修改后的结果直接作用于原df。 默认False
#9.NaN的处理方式二：填充
df2 = df.fillna(100) # 填充成100
# 可以只填充某一列
df4 = df["YY"].fillna(df["YY"].mean()) # df.mean()表示每一列的平均值（Series类型）
# 填充平均值
df3 = df.fillna(df.mean()) # df.mean()表示每一列的平均值（Series类型）。 df.median()中位数
#9.基础学习 blog.csdn.net/claroja/article/details/65661826
#10# create new Title column
#从pandas中的一个单元格的字符串中提取字符串
df['Title'] = df['Name'].str.extract('([A-Za-z]+)\.', expand=True)