【深入理解java集合】-HashMap实现原理

一、背景知识

HashMap 的实现依赖 hashcode hash ,在分析HashMap源码前,有必要理解 hashcode hash 算法

1、Hash

Hash表也称散列表,也有直接译作哈希表,Hash表是一种特殊的数据结构,它同数组、链表以及二叉排序树等相比较有很明显的区别,它能够快速定位到想要查找的记录,而不是与表中存在的记录的关键字进行比较来进行查找。这个源于Hash表设计的特殊性,它采用了函数映射的思想将记录的存储位置与记录的关键字关联起来,从而能够很快速地进行查找。

Hash表采用一个映射函数 f : key —> address 将关键字映射到该记录在表中的存储位置,从而在想要查找该记录时,可以直接根据关键字和映射关系计算出该记录在表中的存储位置,通常情况下,这种映射关系称作为Hash函数,而通过Hash函数和关键字计算出来的存储位置(注意这里的存储位置只是表中的存储位置,并不是实际的物理地址)称作为Hash地址。

Hash表存在的优点显而易见,能够在常数级的时间复杂度上进行查找,并且插入数据和删除数据比较容易。但是它也有某些缺点,比如不支持排序,一般比用线性表存储需要更多的空间,并且记录的关键字不能重复。

一般的线性表、树中,记录(数据元素)在结构中的相对位置是随机的,即和记录的关键字之间不存在确定的关系,因此,在结构中查找记录时需进行一系列和关键字的比较。这一类查找方法建立在“比较“的基础上,查找的效率依赖于查找过程中所进行的比较次数

2、HashCode

有了前面的基础,这里讲解就简单了,hashcode就是通过hash函数得来的,通俗的说,就是通过某一种算法得到的,hashcode就是在hash表中有对应的位置。

每个对象都有hashcode,对象的hashcode怎么得来的呢?

首先一个对象肯定有物理地址,在别的博文中会将hashcode说成是代表对象的地址,这里肯定会让读者形成误区,对象的物理地址跟这个hashcode地址不一样,hashcode代表对象的地址说的是对象在hash表中的位置,物理地址说的对象存放在内存中的地址,那么对象如何得到hashcode呢?通过对象的内部地址(也就是物理地址)转换成一个整数,然后该整数通过hash函数的算法就得到了hashcode,所以,hashcode是什么呢?就是在hash表中对应的位置。这里如果还不是很清楚的话,举个例子,hash表中有 hashcode1hashcode2(...)345678这样八个位置,有一个对象AA的物理地址转换为一个整数17(这是假如),就通过直接取余算法,17%8=1,那么Ahashcode就为1,且A就在hash表中1的位置。也就是在java中,如果没有重写对象的hashCode()函数,那么其返回的值是对象存储的物理地址经hash函数计算后得出的数值。

3、Hash冲突

然而万事无完美,既然是计算,那么就会存在两个不同的元素,通过哈希函数得出的实际存储地址相同的情况。也就是说,当我们对某个元素进行哈希运算,得到一个存储地址,然后要进行插入的时候,发现已经被其他元素占用了,其实这就是所谓的哈希冲突,也叫哈希碰撞。哈希函数的设计至关重要,好的哈希函数会尽可能地保证 计算简单和散列地址分布均匀,但是,我们需要清楚的是,数组是一块连续的固定长度的内存空间,再好的哈希函数也不能保证得到的存储地址绝对不发生冲突。那么哈希冲突如何解决呢?哈希冲突的解决方案有多种:开放定址法(发生冲突,继续寻找下一块未被占用的存储地址),再散列函数法,链地址法,而HashMap即是采用了链地址法(1.8版本增加红黑树),也就是数组+链表的方式。

4、二进制计算的一些基础知识

<< : 左移运算符,num << 1,相当于num乘以低位补0

>> : 右移运算符,num >> 1,相当于num除以高位补0

>>> : 无符号右移,忽略符号位,空位都以0补齐

 % : 模运算 取余

^ :   位异或 第一个操作数的的第n位于第二个操作数的第n位相反,那么结果的第n为也为1,否则为0

 & : 与运算 第一个操作数的的第n位于第二个操作数的第n位如果都是1,那么结果的第n为也为1,否则为0

 | :  或运算 第一个操作数的的第n位于第二个操作数的第n 只要有一个是1,那么结果的第n为也为1,否则为0

 ~ : 非运算 操作数的第n位为1,那么结果的第n位为0,反之,也就是取反运算(一元操作符:只操作一个数)

二、HashMap概念与内部结构

1、概述

HashMap 主要用来存放键值对,它基于哈希表的Map接口实现,是常用的Java集合之一。

JDK1.8 之前 HashMap 数组+链表 组成的,数组是 HashMap 的主体,链表则是主要为了解决哈希冲突而存在的(拉链法解决冲突).JDK1.8 以后在解决哈希冲突时有了较大的变化,当链表长度大于阈值(默认为 8)时,将链表转化为红黑树,以减少搜索时间。

2、底层数据结构分析

2.1 JDK1.8之前

JDK1.8 之前 HashMap 底层是 数组和链表 结合在一起使用也就是 链表散列。HashMap 通过 key hashCode 经过扰动函数处理过后得到 hash 值,然后通过 (n - 1) & hash 判断当前元素存放的位置(这里的 n 指的时数组的长度),如果当前位置存在元素的话,就判断该元素与要存入的元素的 hash 值以及 key 是否相同,如果相同的话,直接覆盖,不相同就通过拉链法解决冲突。

1)扰动函数

所谓扰动函数指的就是 HashMap hash 方法。使用 hash 方法也就是扰动函数是为了防止一些实现比较差的 hashCode() 方法 换句话说使用扰动函数之后可以减少碰撞。

JDK 1.8 HashMap hash 方法源码:

JDK 1.8 hash方法 相比于 JDK 1.7 hash 方法更加简化,但是原理不变。

static final int hash(Object key) {
      int h;
      // key.hashCode():返回散列值也就是hashcode
      // ^ :按位异或
      // >>>:无符号右移,忽略符号位,空位都以0补齐
      return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
 }

对比一下 JDK1.7 HashMap hash 方法源码.

static int hash(int h) {
    // This function ensures that hashCodes that differ only by
    // constant multiples at each bit position have a bounded
    // number of collisions (approximately 8 at default load factor).

    h ^= (h >>> 20) ^ (h >>> 12);
    return h ^ (h >>> 7) ^ (h >>> 4);
}

相比于 JDK1.8 hash 方法 JDK 1.7 hash 方法的性能会稍差一点点,因为毕竟扰动了 4 次。

2)拉链法

所谓拉链法就是:将链表和数组相结合。也就是说创建一个链表数组,数组中每一格就是一个链表。若遇到哈希冲突,则将冲突的值加到链表中即可。

3Node节点类源码: 位桶

// 继承自 Map.Entry<K,V>
static class Node<K,V> implements Map.Entry<K,V> {
       final int hash;// 哈希值,存放元素到hashmap中时用来与其他元素hash值比较
       final K key;//键
       V value;//值
       // 指向下一个节点
       Node<K,V> next;
       Node(int hash, K key, V value, Node<K,V> next) {
            this.hash = hash;
            this.key = key;
            this.value = value;
            this.next = next;
        }
        public final K getKey()        { return key; }
        public final V getValue()      { return value; }
        public final String toString() { return key + "=" + value; }
        // 重写hashCode()方法
        public final int hashCode() {
            return Objects.hashCode(key) ^ Objects.hashCode(value);
        }

        public final V setValue(V newValue) {
            V oldValue = value;
            value = newValue;
            return oldValue;
        }
        // 重写 equals() 方法
        public final boolean equals(Object o) {
            if (o == this)
                return true;
            if (o instanceof Map.Entry) {
                Map.Entry<?,?> e = (Map.Entry<?,?>)o;
                if (Objects.equals(key, e.getKey()) &&
                    Objects.equals(value, e.getValue()))
                    return true;
            }
            return false;
        }
}

2.2 JDK1.8之后

相比于之前的版本,jdk1.8在解决哈希冲突时有了较大的变化,当链表长度大于阈值(默认为8)时,将链表转化为红黑树,以减少搜索时间。

树节点源码:红黑树

static final class TreeNode<K,V> extends LinkedHashMap.Entry<K,V> {
        TreeNode<K,V> parent;  // 父
        TreeNode<K,V> left;    // 左
        TreeNode<K,V> right;   // 右
        TreeNode<K,V> prev;    // needed to unlink next upon deletion
        boolean red;           // 判断颜色
        TreeNode(int hash, K key, V val, Node<K,V> next) {
            super(hash, key, val, next);
        }
        // 返回根节点
        final TreeNode<K,V> root() {
            for (TreeNode<K,V> r = this, p;;) {
                if ((p = r.parent) == null)
                    return r;
                r = p;
       }
}

2.3 属性

public class HashMap<K,V> extends AbstractMap<K,V> implements Map<K,V>, Cloneable, Serializable {
    /**
      * 数组的默认初始长度,java规定hashMap的数组长度必须是2的冥次方
      * 扩展长度时也是当前长度 << 1。
      */
    static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // 16

    // 数组的最大长度
    static final int MAXIMUM_CAPACITY = 1 << 30;

    // 默认负载因子,当元素个数超过这个比例则会执行数组扩充操作。
    static final float DEFAULT_LOAD_FACTOR = 0.75f;
    
    // 树形化阈值,当桶上链表节点个数大于等于TREEIFY_THRESHOLD - 1时,
    // 会将该链表换成红黑树。
    static final int TREEIFY_THRESHOLD = 8;

    // 解除树形化阈值,当桶上节点小于等于这个值时,会将红黑树转换成普通的链表。
    static final int UNTREEIFY_THRESHOLD = 6;

    // 最小树形化的容量,即:当内部数组长度小于64时,不会将链表转化成红黑树,而是优先扩充数组。
    static final int MIN_TREEIFY_CAPACITY = 64;

    // 这个就是hashMap的内部数组了,而Node则是链表节点对象。
    transient Node<K,V>[] table;

    // 下面三个容器类成员,作用相同,实际类型为HashMap的内部类KeySet、Values、EntrySet。
    // 他们的作用并不是缓存所有的key或者所有的value,内部并没有持有任何元素。
    // 而是通过他们内部定义的方法,从三个角度(视图)操作HashMap,更加方便的迭代。
    // 关注点分别是键,值,映射。
    transient Set<K>        keySet;  // AbstractMap的成员
    transient Collection<V> values; // AbstractMap的成员
    transient Set<Map.Entry<K,V>> entrySet;

    // 元素个数,注意和内部数组长度区分开来。
    transient int size;

    // 在上一篇文章中说过,是容器结构的修改次数,fail-fast机制。
    transient int modCount;

    // 阈值,超过这个值时扩充数组。 threshold = capacity * load factor,具体看上面的静态常量。
    int threshold;

    // 装在因子,具体看上面的静态常量。
    final float loadFactor;

}

loadFactor加载因子

loadFactor加载因子是控制数组存放数据的疏密程度,loadFactor越趋近于1,那么 数组中存放的数据(entry)也就越多,也就越密,也就是会让链表的长度增加,load Factor越小,也就是趋近于0,

loadFactor太大导致查找元素效率低,太小导致数组的利用率低,存放的数据会很分散。loadFactor的默认值为0.75f是官方给出的一个比较好的临界值。  

threshold

threshold = capacity * loadFactor,当Size>=threshold的时候,那么就要考虑对数组的扩增了,也就是说,这个的意思就是 衡量数组是否需要扩增的一个标准。

3、小结

HashMap是基于拉链法实现的一个散列表,内部由数组和链表实现。

  • 数组的初始容量为16,而容量是以2的次方扩充的,一是为了提高性能使用足够大的数组,二是为了能使用位运算代替取模预算。
  • 数组是否需要扩充是通过负载因子判断的,如果当前元素个数为数组容量的0.75时,就会扩充数组。这个0.75就是默认的负载因子,可由构造传入。我们也可以设置大于1的负载因子,这样数组就不会扩充,牺牲性能,节省内存。
  • 为了解决碰撞,数组中的元素是单向链表类型。当链表长度到达一个阈值时(7或8),会将链表转换成红黑树提高性能。而当链表长度缩小到另一个阈值时(6),又会将红黑树转换回单向链表提高性能,这里是一个平衡点。

对于第三点补充说明,检查链表长度转换成红黑树之前,还会先检测当前数组数组是否到达一个阈值(64),如果没有到达这个容量,会放弃转换,先去扩充数组。所以上面也说了链表长度的阈值是7或8,因为会有一次放弃转换的操作。

三、HashMap的源码分析

1、构造方法

1.1 默认空参构造函数

// 默认数组初始容量为16,负载因子为0.75f
public HashMap() {
    this.loadFactor = DEFAULT_LOAD_FACTOR; // all other fields defaulted
}

1.2 指定初始化容量(负载因子为0.75f)

public HashMap(int initialCapacity) {
    this(initialCapacity, DEFAULT_LOAD_FACTOR);
}

1.3 指定初始化容量和负载因子

HashMap的实例有两个参数影响性能,初始化容量(initialCapacity)和loadFactor加载因子

public HashMap(int initialCapacity, float loadFactor) {
    if (initialCapacity < 0)
        throw new IllegalArgumentException("Illegal initial capacity: " +
                initialCapacity);
    if (initialCapacity > MAXIMUM_CAPACITY)
        initialCapacity = MAXIMUM_CAPACITY;

    // NaN:Not a Number。例如给-1开方就会得到NaN。
    if (loadFactor <= 0 || Float.isNaN(loadFactor))
        throw new IllegalArgumentException("Illegal load factor: " +
                loadFactor);
    this.loadFactor = loadFactor;

    // 这个方法可以将任意一个整数转换成2的次方。
    // 例如输入10,则会返回16。
    // 另外,有人可能疑惑,不是说threshold是 数组容量 * loadFactor得到的吗?
    // 是的,在第一次put操作,扩充数组时,会将这个threshold作为数组容量,然后再重新计算这个值。
    this.threshold = tableSizeFor(initialCapacity);
}

前面说过,数组容量必须是2的次方。所以就需要通过某个算法将我们给的数值转换成2的次方。 tableSizeFor(int cap)就是这个作用。

// 这个方法可以将任意一个整数转换成2的次方。
static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

原理实际上就是补位,将原本为0的空位填补为1,最后加1时,最高有效位进1,其余变为0。 在文章末尾有详细解释。

1.4 装载Map集合

public HashMap(Map<? extends K, ? extends V> m) {
    this.loadFactor = DEFAULT_LOAD_FACTOR;
    putMapEntries(m, false);
}

putMapEntries方法:

final void putMapEntries(Map<? extends K, ? extends V> m, boolean evict) {
    int s = m.size();
    if (s > 0) {
        // 判断table是否已经初始化
        if (table == null) { // pre-size
            // 未初始化,s为m的实际元素个数
            float ft = ((float)s / loadFactor) + 1.0F;
            int t = ((ft < (float)MAXIMUM_CAPACITY) ?
                    (int)ft : MAXIMUM_CAPACITY);
            // 计算得到的t大于阈值,则初始化阈值
            if (t > threshold)
                threshold = tableSizeFor(t);
        }
        // 已初始化,并且m元素个数大于阈值,进行扩容处理
        else if (s > threshold)
            resize();
        // 将m中的所有元素添加至HashMap中
        for (Map.Entry<? extends K, ? extends V> e : m.entrySet()) {
            K key = e.getKey();
            V value = e.getValue();
            putVal(hash(key), key, value, false, evict);
        }
    }
}

从上面四种构造函数的代码我们可以看出,在常规构造器中,没有为数组table分配内存空间,除指定Map的构造器例外(调用了putVal方法),仅仅是初始化initialCapacity和loadFactor两个属性,即先记录容量和界限,在执行put操作的时候才真正构建table数组。

3、put方法(核心)

HashMap只提供了put用于添加元素,putVal方法只是给put方法调用的一个方法,并没有提供给用户使用。Put方法是HashMap源码的核心,涉及hash计算、扩容、链表和红黑树,需要深入理解。

3.1 put方法源码

注意看注释

public V put(K key, V value) {
    return putVal(hash(key), key, value, false, true);
}

/**
*onlyIfAbsent:当存入键值对时,如果该key已存在,是否覆盖它的value。false为
*覆盖,true为不覆盖。
*evict:用于子类LinkedHashMap
*/
final V putVal(int hash, K key, V value, boolean onlyIfAbsent,
                   boolean evict) {
    Node<K,V>[] tab; Node<K,V> p; int n, i;
    // 首次put,即table未初始化或者长度为0,进行扩容,同时tab记录内部数组对象,n记录内部数组长度
    if ((tab = table) == null || (n = tab.length) == 0)
        n = (tab = resize()).length;
    // (n - 1) & hash 求余运算确定元素存放在哪个桶中,桶为空,新生成结点放入桶中(此时,这个结点是放在数组中),同时记录首节点Node<> p
    if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);
    // 桶中已经存在元素,判断覆盖、红黑树、还是拉链
    else {
        Node<K,V> e; K k;
        // 比较桶中第一个元素(数组中的结点)的hash值是否相等,key是否相同
        //注意if条件对比较的两个元素为null情况的处理
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
                // 将第一个元素赋值给e,用e来记录
                e = p;
        // 如果首节点是红黑树的,将键值对插添加到红黑树
        else if (p instanceof TreeNode)
            // 放入树中
            e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value);
        // 为链表结点
        else {
            // 如果key已存在,覆盖value,不存在,在链表最末插入结点
            for (int binCount = 0; ; ++binCount) {
                // 到达链表的尾部才执行插入,放在if判断key前,是因为e=p.next,赋值
                if ((e = p.next) == null) {
                    // 在尾部插入新结点
                    p.next = newNode(hash, key, value, null);
                    // 结点数量达到阈值,尝试转化为红黑树
                    if (binCount >= TREEIFY_THRESHOLD - 1) // -1 for 1st
                        //方法中还会判断当前数组容量是否到达64
treeifyBin(tab, hash);
                    break;
                }
                // 循环判断链表中结点的key值与插入的元素的key值是否相等
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    // 相等,跳出循环,e将在后面被覆盖
                    break;
                // 用于遍历桶中的链表,与前面的e = p.next组合,可以遍历链表
                p = e;
            }
        }
        // 表示在桶中找到key值、hash值与插入元素相等的结点(末尾插入e=null)
        if (e != null) { 
            // 记录e的value
            V oldValue = e.value;
            // onlyIfAbsent为false或者旧值为null
            if (!onlyIfAbsent || oldValue == null)
                //用新值替换旧值
                e.value = value;
            // 访问后回调
            afterNodeAccess(e);
            // 返回旧值
            return oldValue;
        }
    }
    // 结构性修改
    ++modCount;
    // 实际大小大于阈值则扩容
    if (++size > threshold)
        resize();
    // 插入后回调
    afterNodeInsertion(evict);
    return null;
} 

3.2 添加元素过程

①如果定位到的数组位置没有元素 就直接插入。

②如果定位到的数组位置有元素就和要插入的key比较,如果key相同就直接覆盖,如果key不相同,就判断p是否是一个树节点,如果是就调用e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value)将元素添加进入。如果不是就遍历链表插入。

3.3 HashCode计算数组下标

在put方法中,调用了hash(key)方法。下面通过源码来看,HashMap是如何将key的hashCode转换成数组下标。

第一步:扰动hashCode值

static final int hash(Object key) {
    int h;
    return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16);
}

如在第二节扰动函数所讲,hash方法的作用是将key的hashCode值进一步的混淆,增加其“随机度”,减少hash冲突,换句更专业的话来说就是提高离散度。

第二步:&位运算转成数组下标(索引)

上面的代码只是用hashCode的高16位与低16位进行异或运算,也就是主要对hashCode的低16位进行扰动,为什么就能提高离散性能呢?

这里还是要看hashCode转换成数组索引时的取模运算。

在putVal方法中(不仅仅只在putVal中),有这么一行代码

if ((p = tab[i = (n - 1) & hash]) == null)
        tab[i] = newNode(hash, key, value, null);

i = (n - 1) & hash,n是数组长度,hash就是通过hash()方法进行高低位异或运算得出来的hash值。

这个表达式就是hash值的取模运算,计算下标。当除数为2的次方时,可以用与运算提高性能(代替取模%运算)。N % M == N & (M - 1)。

那么我们想想,大多数情况下,内部数组的容量一般都不会很大,基本分布在16~256之间(一个字节位表达)。所以一个32位的hashCode,一直都用最低的4到8位进行与运算,而高位几乎没有参与。所以通过hash()方法,将hashCode高16位与低16位进行异或运算,能有效的提高离散性能。

下图展示,当数组为初始长度16时,将hashCode转换成数组索引的过程。引用自美团点评技术团队。

3.4 扩容机制

HashMap扩容机制与ArrarList类似,使用一个新的数组代替已有的容量小的数组,但是由于散列取模算法的机制,元素的索引是通过hash&(n - 1)得到的,那么数组的长度由n变为2n,重新计算的索引就可能和原来的不一样了,也就是扩容后需要重新计算hash,分配空间。

另外进行扩容,会伴随着一次重新hash分配,并且会遍历hash表中所有的元素,是非常耗时的。在编写程序中,要尽量避免resize。

鉴于JDK1.8融入了红黑树,较复杂,为了便于理解我们先分析下JDK1.7的代码。

1)JDK1.7  resize

 void resize(int newCapacity) {   //传入新的容量
      Entry[] oldTable = table;    //引用扩容前的Entry数组
      int oldCapacity = oldTable.length;         
      if (oldCapacity == MAXIMUM_CAPACITY) {  //扩容前的数组大小如果已经达到最大(2^30)了
         threshold = Integer.MAX_VALUE; //修改阈值为int的最大值(2^31-1),这样以后就不会扩容了
          return;
      }
   
      Entry[] newTable = new Entry[newCapacity];  //初始化一个新的Entry数组
      transfer(newTable);  //!!将数据转移到新的Entry数组里
      table = newTable;   //HashMap的table属性引用新的Entry数组
      threshold = (int)(newCapacity * loadFactor);//修改阈值
 }

这里就是使用一个容量更大的数组来代替已有的容量小的数组,transfer()方法将原有Entry数组的元素拷贝到新的Entry数组里。

 void transfer(Entry[] newTable) {
      Entry[] src = table; //src引用了旧的Entry数组
      int newCapacity = newTable.length;
      for (int j = 0; j < src.length; j++) { //遍历旧的Entry数组
          Entry<K,V> e = src[j];   //取得旧Entry数组的每个元素
          if (e != null) {
              src[j] = null;//释放旧Entry数组的对象引用(for循环后,旧的Entry数组不再引用任何对象)
              do {
                  Entry<K,V> next = e.next;
                 int i = indexFor(e.hash, newCapacity); //!!重新计算每个元素在数组中的位置
                 e.next = newTable[i]; //标记[1]
                 newTable[i] = e;     //将元素放在数组上
                 e = next;           //访问下一个Entry链上的元素
             } while (e != null);
         }
     }
 }

newTable[i]的引用赋给了e.next,也就是使用了单链表的头插入方式,同一位置上新元素总会被放在链表的头部位置;这样先放在一个索引上的元素终会被放到Entry链的尾部(如果发生了hash冲突的话),这一点和Jdk1.8有区别,下文详解。在旧数组中同一条Entry链上的元素,通过重新计算索引位置后,有可能被放到了新数组的不同位置上。

下面举个例子说明下扩容过程。假设了我们的hash算法就是简单的用key mod 一下表的大小(也就是数组的长度)。其中的哈希桶数组table的size=2, 所以key = 3、7、5,put顺序依次为 5、7、3。在mod 2以后都冲突在table[1]这里了。这里假设负载因子 loadFactor=1,即当键值对的实际大小size 大于 table的实际大小时进行扩容。接下来的三个步骤是哈希桶数组 resize成4,然后所有的Node重新rehash的过程。

2)JDK1.8 索引位置计算优化

只有搞清楚移动2次幂的优化方式,才能明白JDK1.8源码。经过观测可以发现,我们使用的是2次幂的扩展(指长度扩为原来2倍),所以,元素的位置要么是在原位置,要么是在原位置再移动2次幂的位置。看下图可以明白这句话的意思,n为table的长度,图(a)表示扩容前的key1和key2两种key确定索引位置的示例,图(b)表示扩容后key1和key2两种key确定索引位置的示例,其中hash1是key1对应的哈希与高位运算结果。

元素在重新计算hash之后,因为n变为2倍,那么n-1的mask范围在高位多1bit(红色),因此新的index就会发生这样的变化:

因此,我们在扩充HashMap的时候,不需要像JDK1.7的实现那样重新计算hash,只需要看看原来的hash值新增的那个bit是1还是0就好了,是0的话索引没变,是1的话索引变成“原索引+oldCap”,可以看看下图为16扩充为32的resize示意图:

 

这个设计确实非常的巧妙,既省去了重新计算hash值的时间,而且同时,由于新增的1bit是0还是1可以认为是随机的,因此resize的过程,均匀的把之前的冲突的节点分散到新的bucket了。这一块就是JDK1.8新增的优化点。有一点注意区别,JDK1.7中rehash的时候,旧链表迁移新链表的时候,如果在新表的数组索引位置相同,则链表元素会倒置,但是从上图可以看出,JDK1.8不会倒置。

3)JDK1.8  resize

下面代码可以分为两部分来看,上半部分是从新计算数组的长度和阈值。下半部分是将原数组的元素拷贝到新数组中。

final HashMap.Node<K,V>[] resize() {
    HashMap.Node<K,V>[] oldTab = table;
    int oldCap = (oldTab == null) ? 0 : oldTab.length;
    int oldThr = threshold;
    int newCap, newThr = 0;
    //已有数组扩容
    if (oldCap > 0) {
        // 如果数组已经是最大长度,不进行扩充,让其任意碰撞
        if (oldCap >= MAXIMUM_CAPACITY) {
			//调整阀值
            threshold = Integer.MAX_VALUE;
            return oldTab;
        }
        // 否则数组容量扩充一倍。(2的N次方)
        else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY &&
                        oldCap >= DEFAULT_INITIAL_CAPACITY)
            //不满足条件,阀值在后面重新定义,但容量已经扩充了一倍
            newThr = oldThr << 1; // double threshold
    }
    // 如果数组还没创建,但是已经指定了threshold(这种情况是带参构造创建的对象),threshold的值为数组长度
    // 指定initial capacity的构造函数创建对象
    else if (oldThr > 0) // initial capacity was placed in threshold
        newCap = oldThr;
    //通过无参构造创建的对象
    else {  // zero initial threshold signifies using defaults
        newCap = DEFAULT_INITIAL_CAPACITY;
        newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY);
    }
    // 数组新容量大于上限,或小于默认值16,计算新的阀值上限。
    if (newThr == 0) {
        float ft = (float)newCap * loadFactor;
        newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ?
                (int)ft : Integer.MAX_VALUE);
    }
    threshold = newThr;

    // 到了这里,新的数组长度已经被计算出来,创建一个新的数组。
    @SuppressWarnings({"rawtypes","unchecked"})
    Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap];
    table = newTab;

    // 下面代码是将原来数组的元素转移到新数组中。问题在于,数组长度发生变化。 
    // 那么通过hash%数组长度计算的索引也将和原来的不同。
    // jdk 1.7中是通过重新计算每个元素的索引,重新存入新的数组,称为rehash操作。
    // 这也是hashMap无序性的原因之一。而现在jdk 1.8对此做了优化,非常的巧妙。
    if (oldTab != null) {

        // 遍历原数组
        for (int j = 0; j < oldCap; ++j) {
            // 取出首节点
            Node<K,V> e;
            if ((e = oldTab[j]) != null) {
                oldTab[j] = null;
                // 如果链表只有一个节点,那么直接重新计算索引存入新数组。
                if (e.next == null)
                    newTab[e.hash & (newCap - 1)] = e;
                // 如果该节点是红黑树,执行split方法,和链表类似的处理。
                else if (e instanceof HashMap.TreeNode)
                    ((TreeNode<K,V>)e).split(this, newTab, j, oldCap);

                // 此时节点是链表
                else { // preserve order
                    // loHead,loTail为原链表的节点,索引不变。
                    HashMap.Node<K,V> loHead = null, loTail = null;
                    // hiHeadm, hiTail为新链表节点,原索引 + 原数组长度。
                    HashMap.Node<K,V> hiHead = null, hiTail = null;
                    HashMap.Node<K,V> next;

                   // 遍历链表
                    do {
                        next = e.next;
                        // 新增bit为0的节点,存入原链表
						// oldCap为2的n次方,即0000100…
                        if ((e.hash & oldCap) == 0) {
                            if (loTail == null)
                                loHead = e;
                            else
                                loTail.next = e;
                            loTail = e;
                        }
                        // 新增bit为1的节点,存入新链表。
                        else {
                            if (hiTail == null)
                                hiHead = e;
                            else
                                hiTail.next = e;
                            hiTail = e;
                        }
                    } while ((e = next) != null);
                    // 原链表存回原索引位
                    if (loTail != null) {
                        loTail.next = null;
                        newTab[j] = loHead;
                    }
                    // 新链表存到:原索引位 + 原数组长度
                    if (hiTail != null) {
                        hiTail.next = null;
                        newTab[j + oldCap] = hiHead;
                    }
                }
            }
        }
    }
    return newTab;
}

4、元素读取

public V get(Object key) {
    Node<K,V> e;
    return (e = getNode(hash(key), key)) == null ? null : e.value;
}

final Node<K,V> getNode(int hash, Object key) {
    Node<K,V>[] tab; Node<K,V> first, e; int n; K k;
    if ((tab = table) != null && (n = tab.length) > 0 &&
        (first = tab[(n - 1) & hash]) != null) {
        // 数组元素相等
        if (first.hash == hash && // always check first node
            ((k = first.key) == key || (key != null && key.equals(k))))
            return first;
        // 桶中不止一个节点
        if ((e = first.next) != null) {
            // 在树中get
            if (first instanceof TreeNode)
                return ((TreeNode<K,V>)first).getTreeNode(hash, key);
            // 在链表中get
            do {
                if (e.hash == hash &&
                    ((k = e.key) == key || (key != null && key.equals(k))))
                    return e;
            } while ((e = e.next) != null);
        }
    }
    return null;
}

get(key)方法时获取key的hash值,计算hash&(n-1)得到在链表数组中的位置first=tab[hash&(n-1)],先判断first的key是否与参数key相等,不等就遍历后面的链表找到相同的key值返回对应的Value值即可

当桶位上只有一个元素,获取元素性能达到随机访问的时间复杂度0(1),多个元素时消耗遍寻的性能。

5、元素删除

HashMap 的删除操作并不复杂,仅需三个步骤即可完成。第一步是定位桶位置,第二步遍历链表并找到键值相等的节点,第三步删除节点。相关源码如下:

public V remove(Object key) {
    Node<K,V> e;
    return (e = removeNode(hash(key), key, null, false, true)) == null ?
        null : e.value;
}

final Node<K,V> removeNode(int hash, Object key, Object value,
                           boolean matchValue, boolean movable) {
    Node<K,V>[] tab; Node<K,V> p; int n, index;
    if ((tab = table) != null && (n = tab.length) > 0 &&
        // 1. 定位桶位置
        (p = tab[index = (n - 1) & hash]) != null) {
        Node<K,V> node = null, e; K k; V v;
        // 如果键的值与链表第一个节点相等,则将 node 指向该节点
        if (p.hash == hash &&
            ((k = p.key) == key || (key != null && key.equals(k))))
            node = p;
        else if ((e = p.next) != null) {  
            // 如果是 TreeNode 类型,调用红黑树的查找逻辑定位待删除节点
            if (p instanceof TreeNode)
                node = ((TreeNode<K,V>)p).getTreeNode(hash, key);
            else {
                // 2. 遍历链表,找到待删除节点
                do {
                    if (e.hash == hash &&
                        ((k = e.key) == key ||
                         (key != null && key.equals(k)))) {
                        node = e;
                        break;
                    }
                    p = e;
                } while ((e = e.next) != null);
            }
        }
        
        // 3. 删除节点,并修复链表或红黑树
        if (node != null && (!matchValue || (v = node.value) == value ||
                             (value != null && value.equals(v)))) {
            if (node instanceof TreeNode)
                ((TreeNode<K,V>)node).removeTreeNode(this, tab, movable);
            else if (node == p)
                tab[index] = node.next;
            else
                p.next = node.next;
            ++modCount;
            --size;
            afterNodeRemoval(node);
            return node;
        }
    }
    return null;
}

6、HashMap中位运算原理

6.1 2的次方和位运算

数组容量必须是2的次方。所以就需要通过某个算法将我们给的数值转换成2的次方。

tableSizeFor(int cap)就是这个作用。

// 这个方法可以将任意一个整数转换成2的次方。
static final int tableSizeFor(int cap) {
    int n = cap - 1;
    n |= n >>> 1;
    n |= n >>> 2;
    n |= n >>> 4;
    n |= n >>> 8;
    n |= n >>> 16;
    return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1;
}

原理实际上就是补位,将原本为0的空位填补为1,最后加1时,最高有效位进1,其余变为0。

例如1010 0101最后会变成1111 1111,然后+1变成了 1 0000 0000,为2的8次方,上面代码中int n = cap - 1先减去1就是为了最后面这个+1操作。

以1024为例,它的二进制为0000 0100 0000 0000。这样可以更直观的看到这些位运算是如何补位的(这里就不做减1和加1的操作演示了)。

首先,将n 右移 1位,再进行或运算:

  0000 0100 0000 0000

| 0000 0010 0000 0000

-------------------------------

  0000 0110 0000 0000

可以看到,我们最高有效位的右边就“错位复制”了一个1出来。

这个时候再右移两位:

  0000 0110 0000 0000

| 0000 0001 1000 0000

-------------------------------

  0000 0111 1000 0000

将原有的两个1**“错位复制”**到了4个。

再右移4位:

  0000 0111 1000 0000

| 0000 0000 0111 1000

------------------------------

  0000 0111 1111 1000

“错位复制”到了8个1。

再右移8位:

  0000 0111 1111 1000

| 0000 0000 0000 0111

------------------------------

  0000 0111 1111 1111

这个时候,我们已经成功将低位的0全部变成了1,真的是十分巧妙的算法。

而后面还有个右移16位的操作,我们的测试数字比较小,所以用不上了,但是这样可以保证一个32位的int类型将所有低位的0变为1。

这个时候如果再加1,那么就会进位,后面全补0,那么这个数就是2的次方了,因为二进制中每一位都是2的次方。

6.2 取模和位运算

现在,我们可以来解释下当除数为2的次方时,取余运算可以用与运算代替的原理。
首先,我们知道2的次方的数,用二进制表示如下,是不会出现有两个1的情况。

0000 0001 // 1

0000 0010 // 2

0000 0100 // 4

0000 1000 // 8

0001 0000 // 16

0010 0000 // 32

0100 0000 // 64

1000 0000 // 128

当我们除以2的n次方时,可以看作是将二进制右移n位。例如123除以8,实际上就是123的二进制右移3位。

123 / 8

// 用移位运算可以表示为右移3位:

1111011 >> 3

123除以4的结果为30,那么余数呢?

余数正是被移位运算移走的最低3位,011,也就是余数为3。

是不是好想发现了新大陆?原来移位运算移走的那些二进制就是余数!

那么,我们只要将被移走的这3位保存起来,实际上就得到了余数,问题是怎么保存呢?

没错,通过与运算,例如一个数和15进行与运算(二进制为0000 1111),就可以取到该数的低4位。

而上面例子中,我们只要能和7(二进制为0000 0111)做与运算就可以直接得到余数了!

大家发现了什么没有,8的二进制为 0000 1000,如果减去1,是不是正好为0000 0111?

那么,只要我们 123 & (8 - 1),就可以取到123 / 8的余数了!也就是 N % M == N & (M - 1)

总结

  1. 扩容是一个特别耗性能的操作(复制数组,计算头节点的位置,遍寻后续节点),所以当程序员在使用HashMap的时候,估算map的大小,初始化的时候给一个大致的数值,避免map进行频繁的扩容。
  2. 重写equals方法需同时重写hashCode方法。key的唯一性,先判断hashCode再 判断equals方法。hashCode()函数内部的计算式不要使用易变化的因子,hashCode决定了其在数组中的位置,第一次保存在一个桶位,不要下次就找不到了。
  3. 保证Key的hashcode函数优秀,哈希碰撞会对hashMap的性能带来灾难性的影响。如果多个hashCode()的值落到同一个桶内的时候,这些值是存储到一个链表中的。最坏的情况下,所有的key都映射到同一个桶中,这样hashmap就退化成了一个链表——查找时间从O(1)到O(n)或O(log n)。
  4. 负载因子是可以修改的,也可以大于1,但是建议不要轻易修改,除非情况非常特殊。
  5. HashMap是线程不安全的,不要在并发的环境中同时操作HashMap,建议使用ConcurrentHashMap。

 

感谢:美团技术团队

Java 8系列之重新认识HashMap

https://zhuanlan.zhihu.com/p/21673805

猜你喜欢

转载自blog.csdn.net/qq_42022528/article/details/82900679