做大数据分析时,我们常用dataframe,在具体训练前一般需要先进行数据转换,map是常用方法之一。最近碰到一个问题,百思不得其解,最终发现问题所在。著文方便同样碰到问题的朋友。
问题描述
使用map函数替换相应值,原数据没有nan值,替换后出现NaN值,影响后续运算。
目标是将原来的数据中y列,‘buy’替换为1,‘sell’替换为-1,nan值替换为0,map语句如下:
df['y'] = df['y'].map({
'buy':1,'sell':-1,np.nan:0}, na_action=None)
替换前数据:
1228 0
1229 0
1230 0
1231 0
1232 0
1233 0
1234 0
1235 0
1236 0
1237 0
1238 0
1239 0
1240 0
1241 0
1242 0
1243 buy
1244 0
1245 0
1246 0
1247 0
Name: y, dtype: object
替换后数据
1228 NaN
1229 NaN
1230 NaN
1231 NaN
1232 NaN
1233 NaN
1234 NaN
1235 NaN
1236 NaN
1237 NaN
1238 NaN
1239 NaN
1240 NaN
1241 NaN
1242 NaN
1243 1.0
1244 NaN
1245 NaN
1246 NaN
1247 NaN
Name: y, dtype: float64
原因分析:
使用字典映射,但输出列出现NaN错误。经过多次核查,通过print确实很难发现问题,如果碰到以上问题,可对字符串列先删除左右空格再进行映射替换即可。空格会造成替换找不到,故输出NaN。
解决方案:
对y列值先增加.str.strip(),先剔除左右空格在进行映射替换。
df['y'] = df['y'].str.strip().map({
'buy':1,'sell':-1,np.nan:0}, na_action=None)
1228 0
1229 0
1230 0
1231 0
1232 0
1233 0
1234 0
1235 0
1236 0
1237 0
1238 0
1239 0
1240 0
1241 0
1242 0
1243 buy
1244 0
1245 0
1246 0
1247 0
Name: y, dtype: object
1228 0
1229 0
1230 0
1231 0
1232 0
1233 0
1234 0
1235 0
1236 0
1237 0
1238 0
1239 0
1240 0
1241 0
1242 0
1243 1
1244 0
1245 0
1246 0
1247 0
Name: y, dtype: int64
可以看到,这次替换结果正常了。