面对大数据量时，python提高效率的方法。

进行大型文件的读取时如果非要遍历数据(一般是非结构化的时候才会去遍历，不然直接dataframe了)，用下面这种：（如果rb改为r，慢n倍。）

with open(filename,"rb") as f:
    for fLine in f:
        pass

尽量选择集合、字典数据类型，千万不要选择列表(一般遍历的时候都不选)，列表的查询速度会超级慢，同样的，在已经使用集合或字典的情况下，千万不要再转化成列表进行操作。
(1).对字典的优化操作：

if value in dict.values():
    values_count += 1
#用下面这种，别用上面这种。
if keys,values in dict:
    values_count += 1

(2). 多使用iteritems()少使用items()，iteritems()返回迭代器；字典的items函数返回的是键值对的元组的列表,而iteritems使用的是键值对的generator。