python2或python3操作redis及其不同

前言:
Python把中文字符串保存到Redis,中文字符串会被转换为字节流的形式,Python从Redis的获取的中文字符串值是以字节流的形式的,所以想要显示中文还需要解码。Python2从Redis获取的值是str类型,而Python3则是bytes类型,见下面两段代码。从下面两段代码可以看出中文字符串“计算机”在Python2是以'\xbc\xc6\xcb\xe3\xbb\xfa'形式存在的,在Python3中是以b'\xe8\xae\xa1\xe7\xae\x97\xe6\x9c\xba',也就是编码方式不一样,所以解码为中文的方式也不一样。

Python2:
>>> import redis
>>> r = redis.Redis()
>>> r.set('test', '计算机')
True
>>> r.get('test')
'\xbc\xc6\xcb\xe3\xbb\xfa'
>>> a = r.get('test')
>>> type(a)
<type 'str'>
>>> 

Python3:
>>> import redis
>>> r = redis.Redis()
>>> r.set('foo', '计算机')
True
>>> r.get('foo')
b'\xe8\xae\xa1\xe7\xae\x97\xe6\x9c\xba'
>>> a = r.get('foo')
>>> type(a)
<class 'bytes'>
>>> 

安装:
下面会用到chardet模块,安装命令:
pip install chardet

Python2解码中文:
Python2中Redis返回的字符串是str类型,所以可以通过str.decode函数来解码,解码为GB2312。

>>> import redis
>>> r = redis.Redis()
>>> r.set('test', '我是中文字符串')
True
>>> a = r.get('test')
>>> t = a.decode('GB2312')
>>> t
u'\u6211\u662f\u4e2d\u6587\u5b57\u7b26\u4e32'
>>> print(t)
我是中文字符串
>>> 

那么我们是怎么知道要解码为GB2312而不是SB213的呢?我们可以通过chardet来检测,代码如下。从chardet.detect的返回值我们可以看到编码GB2312的置信度为0.99。

>>> import redis
>>> r = redis.Redis()
>>> r.set('test', '我是中文字符串')
True
>>> a = r.get('test')
>>> import chardet
>>> chardet.detect(a)
{'confidence': 0.99, 'encoding': 'GB2312'}
>>> 
chardet.detect使用小技巧:
chardet.detect检测的字符串越长越准确,越短越不准确,如下面的代码short中文字符串包含三个字符,检测出来是TIS-620编码,啥玩意???而long中文字符串包含12字符串,检测出来是GB2312,置信度为0.99。

>>> import redis, chardet
>>> r = redis.Redis()
>>> r.set('short', '我很短')
True
>>> r.set('long', '我是个很长的字符串!!!')
True
>>> short = r.get('short')
>>> long = r.get('long')
>>> chardet.detect(short)
{'confidence': 0.5397318180542452, 'encoding': 'TIS-620'}
>>> chardet.detect(long)
{'confidence': 0.99, 'encoding': 'GB2312'}
>>> 

Python3解码中文:
用同样的方法,检测出在Redis中文字符串Python3中编码为utf-8,置信度为0.99。
>>> import redis, chardet
>>> r = redis.Redis()
>>> r.set('foo', '喵小姐,我爱你!!!我想你了。')
True
>>> a = r.get('foo')
>>> chardet.detect(a)
{'language': '', 'encoding': 'utf-8', 'confidence': 0.99}
>>> 
知道了编码方式,那就好办了,接着上面的代码:
>>> t = a.decode('utf-8')
>>> t
'喵小姐,我爱你!!!我想你了。'
>>> 
也可以这样解码:
>>> t = str(a, encoding='utf-8')
>>> t
'喵小姐,我爱你!!!我想你了。'
>>> 

脑洞大开:
上面讲的都是解码都仅仅在Python2环境中或者仅仅在Python3环境中,那么我们能不能再Python2保存中文,然后在Python3解码,或者反过来。
我们先试一下Python2保存,Python3解码:
1.先在Python2环境中执行下面的代码:
>>> # Py2
>>> import redis
>>> r = redis.Redis()
>>> r.set('test', '我是在Py2保存的中文字符串')
True
>>> 
2.然后在Python3执行下面的代码,华丽丽地出错了,前面Python3解码不是说好了是utf-8编码的吗?:
>>> # Py3
>>> import redis
>>> r = redis.Redis()
>>> a = r.get('test')
>>> a.decode('utf-8')
Traceback (most recent call last):
  File "<pyshell#10>", line 1, in <module>
    a.decode('utf-8')
UnicodeDecodeError: 'utf-8' codec can't decode byte 0xce in position 0: invalid continuation byte
>>> 
3.肯定是打开的方式不对,对没错,就是,在解码之前我们忘了先检查编码方式了,下面的代码还是在Python3中执行,这次正确了:
>> # Py3
>>> import redis
>>> r = redis.Redis()
>>> a = r.get('test')
>>> a
b'\xce\xd2\xca\xc7\xd4\xdaPy2\xb1\xa3\xb4\xe6\xb5\xc4\xd6\xd0\xce\xc4\xd7\xd6\xb7\xfb\xb4\xae'
>>> import chardet
>>> chardet.detect(a)
{'language': 'Chinese', 'encoding': 'GB2312', 'confidence': 0.99}
>>> a.decode('GB2312')
'我是在Py2保存的中文字符串'
>>>

在Python3中保存中文,在Python2中解码:
1.先在Python3中执行下面的代码:
>>> # Py3
>>> import redis
>>> r = redis.Redis()
>>> r.set('test', '我是在Py3保存的中文字符串')
True
>>>
2.然后在Python2中执行下面的代码,吸取了上面的教训,解码前我们先检测编码方式:
>>> # Py2
>>> import redis, chardet
>>> r = redis.Redis()
>>> a = r.get('test')
>>> chardet.detect(a)
{'confidence': 0.99, 'encoding': 'utf-8'}
>>> t = a.decode('utf-8')
>>> t
u'\u6211\u662f\u5728Py3\u4fdd\u5b58\u7684\u4e2d\u6587\u5b57\u7b26\u4e32'
>>> print(t)
我是在Py3保存的中文字符串
>>> 


总结:
1.在解码Redis返回的字符前要先检测编码方式,根据检测出的编码方式来编码。
2.chardet.detect检测的字符串越长越准确,越短越不准确。
3.保存的时候是什么编码方式,解码的时候也要用这种编码方式,如在Python2中保存的中文字符串是GB2312编码方式,在Python3解码该中文字符串要用GB2312编码。


原文:https://blog.csdn.net/xiemanR/article/details/72793081 

猜你喜欢

转载自blog.csdn.net/Areigninhell/article/details/88551738
今日推荐