CHUNKSIZEを使用して大きなファイルを読み込むためのパンダ

PDのように輸入パンダ
NPとしてインポートnumpyの

輸入chardet

ファイル#検出符号化
(:\ test.txtの'' RB r'D ')FO AS:オープンで
  エンコードchardet.detect =(fo.readline())['エンコーディング「]
印刷(エンコード)

検出されたエンコーダは、ASCII、UTF-8でエンコードするために使用される場合#推奨

リーダ= pd.read_csv(r'D:\ test.txtの」、反復子= trueの場合、エンコーディング=エンコード)

ループ= Trueの
CHUNKSIZE = 10000#每次读取的数行
whileループ:
  試す:
    チャンク= reader.get_chunk(CHUNKSIZE )#タイプ(チャンク)pd.DataFrameあります

    列のファイル名#注ことを
    #は何かを 
  呼び出すとStopIterationを除く:
    ループ= Falseのを
    (。「反復を停止している」)を印刷

おすすめ

転載: www.cnblogs.com/linchee/p/11093367.html