python学习笔记之我的工具utils

1.对列表嵌套字典去重（set的元素不能是可变类型）

如：爬虫抓取了一些数据（新*新闻评论），每条数据是一个字典，相对这些数据做一个去重

d_list = [{1:2,3:4},{3:4,1:2}]
new_d_list = lambda d_list: [dict(tup) for tup in set([tuple(sorted(d.items())) for d in d_list])]
print(new_d_list(d_list))