7. Requested array size exceeds VM limit

7.1 Requested array size exceeds VM limit 概述

Java对你的应用可以分配的最大数组大小有限制. 准确的限制与平台有关, 但是通常都位于10到21亿元素之间.

当你面临java.lang.OutOfMemoryError: Requested array size exceeds VM limit, 意味着应用因为尝试分配一个大于JVM可以支持的数组而报错crash.

7.2 原因

该错误是由JVM的本地代码抛出的. 它发生在为一个数组分配内存之前, 这时JVM会执行一个与平台有关的检查: 是否待分配的数据结构在这个平台是可寻址的. 这个错误并不像你最初想象的那样普遍。

你很少面对这个错误的原因是 Java 数组是由 int类型索引的. 在Java中最大的正整数是: 2^31 -1 = 2,147,483,647. 平台相关的限制确实相当接近这个数字 – 例如在MacBook Pro, Java 1.7, 可以初始化数组到2,147,483,645 或 Integer.MAX_VALUE-2 元素.

数组长度再加1到Integer.MAX_VALUE-1 会导致该OutOfMemoryError:

Exception in thread “main” java.lang.OutOfMemoryError:
Requested array size exceeds VM limit

但是这个限制有时也并不是那么高 – 在32-bit Linux, OpenJDK 6上, 你会在分配一个大约11亿元素的数组时候出现java.lang.OutOfMemoryError: Requested array size exceeds VM limit报错. 要知道你的特定环境的限制大小, 可以运行下面这个小的测试程序.

7.3 示例

要尝试重现java.lang.OutOfMemoryError: Requested array size exceeds VM limit错误, 让我们来看一下下面的代码:

for (int i=3; i>=0; i--) {
    try {
        int[] arr = new int[Integer.MAX_VALUE-i];
        System.out.format("Successfully initialized an array with %,d elements .\n", Integer.MAX_VALUE-i);
    } catch (Throwable t) {
        t.printStackTrace();
    }
}

该示例循环四次, 并在每次循环中初始化一个长基元数组。该程序试图初始化的数组大小在每次迭代时都增长一个, 最终达到整数MAX_VALUE。现在, 当在64位 Mac OS X 上使用Hotspot 7启动代码段时, 你应该得到类似于以下内容的输出:

java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Java heap space
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)
java.lang.OutOfMemoryError: Requested array size exceeds VM limit
  at eu.plumbr.demo.ArraySize.main(ArraySize.java:8)

注意到在最后2次尝试面临java.lang.OutOfMemoryError: Requested array size exceeds VM limit之前, 分配失败报出了更为常见的java.lang.OutOfMemoryError: Java heap space消息. 这是因为你尝试分配空间的 2^31-1 int 需要8G内存, 远大于JVM的默认内存.

这个例子也说明了这个错误很稀少 – 为了看到VM达到数组大小的限制, 你需要分配一个数据刚好位于平台的限制和Integer.MAX_INT之间. 当这个例子在64bit Mac OS X, Hotspot 7上运行时, 只有2个满足要求的数组长度: Integer.MAX_INT-1 and Integer.MAX_INT.

7.4 解决方案

java.lang.OutOfMemoryError: Requested array size exceeds VM limit在以下2种情况下会出现:

你的数组增长的太大, 最终大小位于平台的限制和Integer.MAX_INT之间
您特意尝试分配大于 2 ^ 31-1 元素的数组来试验该限制。

在第一种情况下, 检查您的代码库, 看看您是否真的需要这么大的数组。也许你可以减少数组的大小, 并完成它。或将阵列划分为较小的散点, 并将所需的数据加载到您的平台限制中的批次中。

在第二种情况下-请记住, Java 数组是由 int 索引. 因此,在使用平台中的标准数据结构时, 您不能超过 2 ^ 31-1 元素的数组。实际上, 在这种情况下, 编译器在编译过程中宣布 “错误: 整数太大(error: integer number too large)” 时已经阻止了您.

但是, 如果你真的使用真正的大型数据集, 你需要重新考虑你的选择. 您可以在较小的批次中加载所需的数据, 并且仍然使用标准的 Java 工具, 或者您可能会超出标准的实用程序. 实现这一目标的一个方法是查看 sun.misc.Unsafe 类。这使您可以像在 C 中一样直接分配内存。