新手刚学py不久,用正则爬取数据的时候获得了一段json数据格式的段落,抓取回来的时候发现本身的文档已经是加了双反斜杠\\ 的字符串,这时候我用json.loads()格式化数据的时候出现错误,搞了我两天,参考了一下别人的资料,终于找到解决方法了搞定这个坑了,避免下次踩坑,先写下来。。。
报错信息如下:
json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
假设如下:
test1.py:
str = """{\\"count\\":4}""" #爬虫抓取的数据段 print(str) #这里直接输出str
>>>{\"count\":4}
str = bytes(str, encoding='utf-8') print(str) #转换成bytes输出
>>>b'{\\"count\\":4}'
print(json.loads(str)) #输出出错
>>>json.decoder.JSONDecodeError: Expecting property name enclosed in double quotes: line 1 column 2 (char 1)
分析:
在控制台直接print输出:{\"count\":4}这是正确的格式。按理说能正常被json解析,如下:
test2.py:
str="{\"count\":4}" print(str) print(json.loads(str))
>>>{"count":4} #直接输出,输出了不带斜杠\的字符串
>>>{'count': 4} #这里能被json正常解析
以上说明print和json.loads都会自动去掉用作转义的反斜杠 \ "转换成 " 成为正常能被json解析的(不带转义)字符 ,所以这样是能被json解析的!但是test1中的第一个print输出只是将双斜杠转成单斜杠的字符串,去掉了单斜杠的转义,这样仍然是不能被解析的。test1的第二个print说明了这个问题,转换成byte是按字节原样输出的,显示的仍然是双斜杠,所以print和loads都会解析一层的转义即:{\\"count\\":4}去掉一个单斜杠变成{\"count\":4},应该要再去掉一层转义,即需要两次反转义才行,可惜我找遍资料也没找到python有解决这个的方法函数,不过最终在网上找到了解决方法。看下面:
扫描二维码关注公众号,回复:
5873858 查看本文章
总结:以上问题出现在抓取的数据的时候,python会自动把反斜杠\加上转义,比如这里的 “\”单反斜杠 会变成对应的双反斜杠"\\" 即:把单斜杠给转义了。这样自然不能被json正常解析。(ps:单层转义的字符串传入json.loads()时会自动处理掉)
解决方法:
1.使用eval函数
eval
功能:将字符串str当成有效的表达式来求值并返回计算结果。
语法: eval(source[, globals[, locals]]) -> value
参数:
source:一个Python表达式或函数compile()返回的代码对象
globals:可选。必须是dictionary
locals:可选。任意map对象
str = """{\\"count\\":4}""" str2 = eval("'{}'".format(str)) print(str2) print(json.loads(str2))
2.使用正则表达式:
str1 = re.sub(r'\\','',str) print(str1) print(json.loads(str1))
>>>{"count":4} #以上两种都能正常输出得到json数据!! >>>{'count': 4}