パンダバッチcsvファイルの読み込み - プレス行インデックスを読みます

パンダとfit_generatorと組み合わせて使用​​すると、実際には、データ量が高すぎる読み取ることができないので、メモリにすべてのデータを読みたくありません。ここでBATCH_SIZEてサイズをお読みする方法は次のとおりです。

図1に示すように、データを作成します。

1 A = pd.DataFrame（）
 2 A = [
 3      [1、1、1、1 ]、
 4      [2、2、2、2 ]、
 5      [3、3、3、3 ]、
 6      [4、 4、4、4 ]、
 7      [5、5、5、5 ]、
 8      [6、6、6、6 ]、
 9  ]
 10 A = pd.DataFrame（）
 11 a.to_csv（" ../a .CSV "、インデックス=偽）

図2に示すように、元のデータが読み出されます。

1 pd.read_csv（" ../a.csv " ）
出力：
 2     0 2 3 1
 。3 0 1 1 1 1
 。4を 1 2 2 2 2
 。5 2. 3. 3. 3. 3
 。6。3. 4. 4. 4. 4
 。7 4 5 5 5。 5
 。8。5. 6. 6. 6. 6

3、最初の数行をお読みください。

1 pd.read_csv（" ../a.csv "、NROWS = 2 ）
输出：
 2     0 1 2
 3 0 1 1 1 1
 4 1 2 2 2 2

4、行をスキップ、またはどのように多くの行の前にスキップします：

1  pd.read_csv（" ../a.csv "、のskipRows = 1、NROWS = 2 ）
输出：
 2     1 1.1 1.2 1.3
 3 0 2 2 2 2
 4 1 3 3 3 3
 5 pd.read_csv（" ../ a.csv "、のskipRows = ラムダ X：X％2！= 0）
输出：
 6     0 1 2
 7 0 2 2 2 2
 8 1 4 4 4 4
 9 2 6 6 6 6

　　ことでのskipRowsスキップする行数を指定NROWSを実現することができるパラメータは、はるか前方を取るBATCH_SIZEの入力サイズを。