使用Java8 Stream流的skip + limit实现批处理

1、一般进行批处理时会将数据加入到一个临时的集合中,当数据量达到一定大小后进行下一步操作,数据量不足时需要进行额外的判断;

2、若使用Java8的Stream流中的 skip + limit 则可以让我们对集合方便快捷的操作,其中:
(1)skip(x):返回丢弃流中的前x个元素后剩下元素组成的新流;若原流中包含的元素个数小于x,则返回空流。
(2)limit(x): 对一个Stream流进行截断操作,获取其前x个元素;若原流中包含的元素个数小于x,那就获取其所有的元素;

3、实例代码如下:

public static void main(String[] args) {

        List<Integer> list = new ArrayList<>();
        for (int i = 10; i < 36; i++) {
            list.add(i);
        }

        int limit = 10;
        for (int offset = 0; offset < list.size(); offset += limit) {
            List<Integer> subList = list.stream()
                                        .skip(offset)
                                        .limit(limit)
                                        .collect(Collectors.toList());
            System.out.println(subList);
        }
}

输出结果:

[10, 11, 12, 13, 14, 15, 16, 17, 18, 19]
[20, 21, 22, 23, 24, 25, 26, 27, 28, 29]
[30, 31, 32, 33, 34, 35]

3、通过结果也可以看出 skip 配合 limit 操作使用时, limit 是最多取出限制的大小,不用再判断最后一批数据量大小不够限定的大小时的处理。

改进版

int j = 0, size = list.size(), batchSize = 100;
while (j < size) {
    batchList = list.stream().skip(j).limit(Math.min(j + batchSize, size) - j).collect(Collectors.toList());
    j += batchSize;
}

猜你喜欢

转载自blog.csdn.net/m1195900241/article/details/125613950
今日推荐