팬더는 chunksize 영역을 사용하여 대용량 파일을 읽기

PD의 같은 수입 팬더
순이익 등의 수입 NumPy와

수입 chardet

파일 # 검출 부호화
(\ TEST.TXT ','RB r'D ') 열기 FO AS :
  인코딩 chardet.detect = (fo.readline ()) "부호화"]
인쇄 (인코딩)

검출 엔코더 아스키 UTF-8 인코딩하는 데 사용되는 경우 추천 #

독자 = pd.read_csv (r'D : \ TEST.TXT ', 반복자 = 사실, 인코딩 = 인코딩)

루프 = TRUE
여기서, ChunkSize = 10000 #每次读取的数行
while 루프 :
  시도 :
    덩어리 = reader.get_chunk을 (여기서, ChunkSize ) # 형 (덩어리)는 pd.DataFrame

    컬럼의 파일 이름 # 참고하는 것이
    # 뭔가 할 
  StopIteration을 제외하고는 :
    루프 = 거짓을
    (. "반복을 중지") 인쇄

추천

출처www.cnblogs.com/linchee/p/11093367.html