HashMap
是 Map
的一个实现类,它代表的是一种键值对的数据存储形式。
大多数情况下可以直接定位到它的值,因而具有很快的访问速度,但遍历顺序却是不确定的。
HashMap
最多只允许一条记录的键为 null
,允许多条记录的值为 null
。不保证有序 (比如插入的顺序)、也不保证序不随时间变化。
jdk 8
之前,其内部是由
jdk 8
对于链表长度超过
HashMap
非线程安全,即任一时刻可以有多个线程同时写 HashMap
,可能会导致数据的不一致。如果需要满足线程安全,可以用 Collections
的 synchronizedMap
方法使 HashMap
具有线程安全的能力,或者使用 ConcurrentHashMap
。
HashMap
是
下面我们先来看一下 HashMap 内部所用到的存储结构
static class Node<K,V> implements Map.Entry<K,V> { final int hash; final K key; V value; Node<K,V> next; Node(int hash, K key, V value, Node<K,V> next) { this.hash = hash; this.key = key; this.value = value; this.next = next; } public final K getKey() { return key; } public final V getValue() { return value; } public final String toString() { return key + "=" + value; } public final int hashCode() { return Objects.hashCode(key) ^ Objects.hashCode(value); } public final V setValue(V newValue) { V oldValue = value; value = newValue; return oldValue; } public final boolean equals(Object o) { if (o == this) return true; if (o instanceof Map.Entry) { Map.Entry<?,?> e = (Map.Entry<?,?>)o; if (Objects.equals(key, e.getKey()) && Objects.equals(value, e.getValue())) return true; } return false; } }
可以看出每个哈希桶中包含了四个字段:hash、key、value、next,其中 next 表示链表的下一个节点。
Node
是 HashMap
的一个内部类,实现了 Map.Entry 接口,本质上就是一个映射 (键值对)。
有时两个 key
会定位到相同的位置,表示发生了
Hash
算法计算结果越分散均匀, Hash
碰撞的概率就越小, map
的存取效率就会越高。
HashMap
类中有一个非常重要的字段,就是 Node[] table
,即哈希桶数组。如果哈希桶数组很大,即使较差的 Hash
算法也会比较分散,如果哈希桶数组数组很小,即使好的 Hash
算法也会出现较多碰撞。
所以就需要在空间成本和时间成本之间权衡,其实就是在根据实际情况确定哈希桶数组的大小,并在此基础上设计好的 hash
算法减少
上面大体介绍了 HashMap
的组成结构,下面我们来看一些关于 HashMap
的核心问题。
不过在这之前我们先了解下 hashmap 中的变量
// HashMap 初始化长度 static final int DEFAULT_INITIAL_CAPACITY = 1 << 4; // HashMap 最大长度 static final int MAXIMUM_CAPACITY = 1 << 30; // 默认的加载因子 (扩容因子) static final float DEFAULT_LOAD_FACTOR = 0.75f; // 当链表长度大于此值且容量大于64时 static final int TREEIFY_THRESHOLD = 8; // 转换链表的临界值,当元素小于此值时,将红黑树转换为链表结构 static final int UNTREEIFY_THRESHOLD = 6; // 最小数容量 static final int MIN_TREEIFY_CAPACITY = 64; transient Node<K,V>[] table; transient Set<Map.Entry<K,V>> entrySet; transient int size; transient int modCount; int threshold; final float loadFactor;
在 HashMap 中有两个很重要的参数,容量 (Capacity) 和负载因子(Load factor)
Capacity
就是 buckets
的数目, Load factor
就是 buckets
填满程度的最大比例。如果对迭代性能要求很高的话不要把 capacity
设置过大,也不要把 load factor
设置过小。当 bucket
填充的数目(即 hashmap 中元素的个数)大于 capacity*load factor
时就需要调整 buckets 的数目为当前的 2 倍 。
static final int hash(Object key) { int h; return (key == null) ? 0 : (h = key.hashCode()) ^ (h >>> 16); } static int indexFor(int h, int length) { return h & (length-1); }
indexFor 是 jdk1.7 的源码,jdk1.8 没有这个方法但是 jdk1.8 也是通过取模运算来计算的
这里的 Hash 算法本质上就是三步:
对于任意给定的对象,只要它的 hashCode()
返回值相同,那么程序调用方法一所计算得到的 Hash
码值总是相同的。我们首先想到的就是把 hash
值对数组长度取模运算,这样一来,元素的分布相对来说是比较均匀的。但是,模运算的消耗还是比较大的,这里我们用 &
位运算来优化效率。
这个方法非常巧妙,它通过 h & (table.length -1)
来得到该对象的保存位,而 HashMap
底层数组的长度总是 2 的 n 次方 ,这是 HashMap
在速度上的优化。当 length 总是 2 的 n 次方时, h& (length-1)
运算等价于对 length 取模,也就是 h%length
,但是 & 比 % 具有更高的效率。
在 JDK1.8
的实现中,优化了高位运算的算法,通过 hashCode()
的高 16 位异或低 16 位实现的:(h = k.hashCode()) ^ (h >>> 16),主要是从速度、功效、质量来考虑的,这么做可以 Node 数组 table 的 length 比较小的时候,也能保证考虑到高低 Bit 都参与到 Hash 的计算中,同时不会有太大的开销。
扩容 (resize) 就是重新计算容量,向 HashMap
对象里不停的添加元素,而 HashMap
对象内部的数组无法装载更多的元素时,对象就需要扩大数组的长度,以便能装入更多的元素。
当然 Java
里的数组是无法自动扩容的,方法是使用一个新的数组代替已有的容量小的数组,就像我们用一个小桶装水,如果想装更多的水,就得换大水桶。
当 put
时,如果发现目前的 bucket
占用程度已经超过了 Load Factor
所希望的比例,那么就会发生 resize
。在 resize
的过程,简单的说就是把 bucket
扩充为 2 倍 ,之后重新计算 index
,把节点再放到新的 bucket
中。
因为我们使用的是 2 次幂的扩展 (指长度扩为原来 2 倍),所以,元素的位置要么是在原位置,要么是在原位置再移动 2 次幂的位置。
例如我们从 16 扩展为 32 时,具体的变化如下所示:
因此元素在重新计算 hash
之后,因为 n 变为 2 倍,那么 n-1 的 mask 范围在高位多 1bit(红色),因此新的 index 就会发生这样的变化:
因此,我们在扩充 HashMap
的时候,不需要重新计算 hash
,只需要看看原来的 hash
值新增的那个 bit 是 1 还是 0 就好了,是 0 的话索引没变,是 1 的话索引变成 “原索引 + oldCap”。
这个设计确实非常的巧妙,既省去了重新计算 hash 值的时间,而且同时,由于新增的 1bit 是 0 还是 1 可以认为是随机的,因此 resize
的过程,均匀的把之前的冲突的节点分散到新的 bucket
了。
final Node<K,V>[] resize() { // 扩容前的数组 Node<K,V>[] oldTab = table; // 扩容前的数组大小和阈值 int oldCap = (oldTab == null) ? 0 : oldTab.length; int oldThr = threshold; // 预定义新数组的大小和阈值 int newCap, newThr = 0; if (oldCap > 0) { // 超过最大值就不再扩容了 if (oldCap >= MAXIMUM_CAPACITY) { threshold = Integer.MAX_VALUE; return oldTab; } // 扩大容量为当前容量的两倍,但不能超过 MAXIMUM_CAPACITY else if ((newCap = oldCap << 1) < MAXIMUM_CAPACITY && oldCap >= DEFAULT_INITIAL_CAPACITY) newThr = oldThr << 1; } // 当前数组没有数据,使用初始化的值 else if (oldThr > 0) newCap = oldThr; else { // 如果初始化的值为 0, 则使用默认的初始化容量 newCap = DEFAULT_INITIAL_CAPACITY; newThr = (int)(DEFAULT_LOAD_FACTOR * DEFAULT_INITIAL_CAPACITY); } if (newThr == 0) { float ft = (float)newCap * loadFactor; newThr = (newCap < MAXIMUM_CAPACITY && ft < (float)MAXIMUM_CAPACITY ? (int)ft : Integer.MAX_VALUE); } threshold = newThr; @SuppressWarnings({"rawtypes","unchecked"}) Node<K,V>[] newTab = (Node<K,V>[])new Node[newCap]; // 开始扩容,将新的容量赋值给 table table = newTab; // 原数据不为空,将原始的容量复制到新 table 中 if (oldTab != null) { // 根据容量循环数组,复制非空元素到新 table for (int j = 0; j < oldCap; ++j) { Node<K,V> e; if ((e = oldTab[j]) != null) { oldTab[j] = null; // 如果链表只有一个,则进行直接赋值 if (e.next == null) newTab[e.hash & (newCap - 1)] = e; else if (e instanceof TreeNode) // 红黑树相关的操作 ((TreeNode<K,V>)e).split(this, newTab, j, oldCap); else { // 链表复制,JDK 1.8 扩容优化部分 Node<K,V> loHead = null, loTail = null; Node<K,V> hiHead = null, hiTail = null; Node<K,V> next; do { next = e.next; // 原索引 if ((e.hash & oldCap) == 0) { if (loTail == null) loHead = e; else loTail.next = e; loTail = e; } // 原索引 + oldCap else { if (hiTail == null) hiHead = e; else hiTail.next = e; hiTail = e; } } while ((e = next) != null); // 将原索引放入到哈希桶中 if (loTail != null) { loTail.next = null; newTab[j] = loHead; } // 将原索引 + oldCap 放到哈希桶中 if (hiTail != null) { hiTail.next = null; newTab[j + oldCap] = hiHead; } } } } } return newTab; }
加载因子也叫扩容因子或负载因子,用来判断什么时候进行扩容的,假如加载因子是 0.5,HashMap 的初始化容量是 16,那么当 HashMap 中有 16*0.5=8 个元素时,HashMap 就会进行扩容。
那加载因子为什么是 0.75 而不是 0.5 或者 1.0 呢?
这其实是出于容量和性能之间平衡的结果:
所以综合了以上情况就取了一个 0.5 到 1.0 的平均数 0.75 作为加载因子。
HashMap 源码中三个重要方法:查询、新增和数据扩容。
bucket 里的第一个节点,直接命中;
如果有冲突,则通过 key.equals(k) 去查找对应的 entry
若为树,则在树中通过 key.equals(k) 查找,O(logn);
若为链表,则在链表中通过 key.equals(k) 查找,O(n)。
具体代码的实现如下:
public V get(Object key) { Node<K,V> e; // 对 key 进行哈希操作 return (e = getNode(hash(key), key)) == null ? null : e.value; } final Node<K,V> getNode(int hash, Object key) { Node<K,V>[] tab; Node<K,V> first, e; int n; K k; // 非空判断 if ((tab = table) != null && (n = tab.length) > 0 && (first = tab[(n - 1) & hash]) != null) { // 判断第一个元素是否是要查询的元素 if (first.hash == hash && ((k = first.key) == key || (key != null && key.equals(k)))) return first; // 一下一个节点非空判断 if ((e = first.next) != null) { // 如果第一节点是树结构,则使用 getTreeNode 直接获取相应的数据 if (first instanceof TreeNode) return ((TreeNode<K,V>)first).getTreeNode(hash, key); // 非树结构循环节点判断 do { // hash 相等并且 key 相同,则返回此节点 if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) return e; } while ((e = e.next) != null); } } return null; }
从以上源码可以看出,当哈希冲突时我们需要通过判断 key 值是否相等,才能确认此元素是不是我们想要的元素。
put
方法也是 HashMap
中比较重要的方法,因为通过该方法我们可以窥探到 HashMap
在内部是如何进行数据存储的,所谓的
put 方法的大致实现过程如下:
public V put(K key, V value) { // 对 key 进行哈希操作 return putVal(hash(key), key, value, false, true); } final V putVal(int hash, K key, V value, boolean onlyIfAbsent, boolean evict) { Node<K,V>[] tab; Node<K,V> p; int n, i; // 哈希表为空则创建 if ((tab = table) == null || (n = tab.length) == 0) n = (tab = resize()).length; // 根据 key 的哈希值计算出要插入的数组索引 i if ((p = tab[i = (n - 1) & hash]) == null) // 如果 table[i] = null 则直接插入 tab[i] = newNode(hash, key, value, null); else { Node<K,V> e; K k; // 如果 key 已经存在了,直接覆盖 value if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k)))) e = p; // 如果 key 不存在,判断是否为红黑树 else if (p instanceof TreeNode) // 红黑树直接插入键值对 e = ((TreeNode<K,V>)p).putTreeVal(this, tab, hash, key, value); else { // 链表结构,循环准备插入 for (int binCount = 0; ; ++binCount) { // 下一个元素为空时 if ((e = p.next) == null) { p.next = newNode(hash, key, value, null); // 转换为红黑树进行处理 if (binCount >= TREEIFY_THRESHOLD - 1) treeifyBin(tab, hash); break; } // key 已经存在直接覆盖 value if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) break; p = e; } } if (e != null) { V oldValue = e.value; if (!onlyIfAbsent || oldValue == null) e.value = value; afterNodeAccess(e); return oldValue; } } ++modCount; // 超过最大容量,扩容 if (++size > threshold) resize(); afterNodeInsertion(evict); return null; }
新增方法的执行流程,如下图所示:
以 JDK 1.7 为例,假设 HashMap 默认大小为 2,原本 HashMap 中有一个元素 key(5),我们再使用两个线程:t1 添加元素 key(3),t2 添加元素 key(7),当元素 key(3) 和 key(7) 都添加到 HashMap 中之后,线程 t1 在执行到 Entry<K,V> next = e.next; 时,交出了 CPU 的使用权,源码如下:
void transfer(Entry[] newTable, boolean rehash) { int newCapacity = newTable.length; for (Entry<K,V> e: table) { while (null != e) { Entry<K,V> next = e.next; // 线程一执行到此处 if(rehash) { e.hash = null == e.key ? 0 : hash(key); } int i = indexFor(e.hash, newCapacity); e.next = newTable[i]; newTable[i] = e; e = next; } } }
那么此时线程 t1 中的 e 指向了 key(3),而 next 指向了 key(7) ;之后线程 t2 重新 rehash 之后链表的顺序被反转,链表的位置变成了 key(5) → key(7) → key(3),其中 “→” 用来表示下一个元素。
当 t1 重新获得执行权之后,先执行 newTalbe[i] = e 把 key(3) 的 next 设置为 key(7),而下次循环时查询到 key(7) 的 next 元素为 key(3),于是就形成了 key(3) 和 key(7) 的循环引用,因此就导致了死循环的发生,如下图所示:
当然发生死循环的原因是 JDK 1.7 链表插入方式为首部倒序插入,这个问题在 JDK 1.8 得到了改善,变成了尾部正序插入。
public HashMap(int initialCapacity, float loadFactor) { if (initialCapacity < 0) throw new IllegalArgumentException("Illegal initial capacity: " + initialCapacity); if (initialCapacity > MAXIMUM_CAPACITY) initialCapacity = MAXIMUM_CAPACITY; if (loadFactor <= 0 || Float.isNaN(loadFactor)) throw new IllegalArgumentException("Illegal load factor: " + loadFactor); this.loadFactor = loadFactor; this.threshold = tableSizeFor(initialCapacity); }
这是一个最基本的构造函数,需要调用方传入两个参数, initialCapacity 和 loadFactor 。
程序的大部分代码在判断传入参数的合法性, initialCapacity 小于零将抛出异常,大于 MAXIMUM_CAPACITY 将被限定为 MAXIMUM_CAPACITY 。 loadFactor 如果小于等于零或者非数字类型也会抛出异常。
static final int tableSizeFor(int cap) { int n = cap - 1; n |= n >>> 1; n |= n >>> 2; n |= n >>> 4; n |= n >>> 8; n |= n >>> 16; return (n < 0) ? 1 : (n >= MAXIMUM_CAPACITY) ? MAXIMUM_CAPACITY : n + 1; }
由以上代码可以看出,当在实例化 HashMap
实例时,如果给定了 initialCapacity
,由于 HashMap
的 capacity
都是 2 的幂次方,因此这个方法用于找到大于等于 initialCapacity
的最小的 2 的幂(initialCapacity 如果就是 2 的幂,则返回的还是这个数)。
首先,我们想一下为什么要对 cap 做减 1 操作?
int n = cap - 1
这是为了防止,cap 已经是 2 的幂。如果 cap 已经是 2 的幂,又没有执行这个减 1 操作,则执行完后面的几条无符号右移操作之后,返回的 capacity 将是这个 cap 的 2 倍。如果不懂,要看完后面的几个无符号右移之后再回来看看。
下面看看这几个无符号右移操作:
如果 n 这时为 0 了(经过了 cap-1 之后),则经过后面的几次无符号右移依然是 0,最后返回的 capacity 是 1(最后有个 n+1 的操作)。
这里我们只讨论 n 不等于 0 的情况。
n |= n >>> 1;
由于 n 不等于 0,则 n 的二进制表示中总会有一 bit 为 1,这时考虑最高位的 1。通过无符号右移 1 位,则将最高位的 1 右移了 1 位,再做或操作,使得 n 的二进制表示中与最高位的 1 紧邻的右边一位也为 1,如 000011xxxxxx。
n |= n >>> 2;
注意,这个 n 已经进行过 n |= n >>> 1 ; 操作。假设此时 n 为 000011xxxxxx ,则 n 无符号右移两位,会将最高位两个连续的 1 右移两位,然后再与原来的 n 做或操作,这样 n 的二进制表示的高位中会有 4 个连续的 1。如 00001111xxxxxx 。
n |= n >>> 4;
这次把已经有的高位中的连续的 4 个 1,右移 4 位,再做或操作,这样 n 的二进制表示的高位中会有 8 个连续的 1。如 00001111 1111xxxxxx 。
以此类推 。。。
注意,容量最大也就是 32bit 的正数,因此最后 n |= n >>> 16; 最多也就 32 个 1,但是这时已经大于了 MAXIMUM_CAPACITY ,所以取值到 MAXIMUM_CAPACITY 。
下面我们通过一个图片来看一下整个过程:
HashMap 中还有很多的重载构造函数,但几乎都是基于上述的构造函数的。
public HashMap(int initialCapacity) { this(initialCapacity, DEFAULT_LOAD_FACTOR); } public HashMap() { this.loadFactor = DEFAULT_LOAD_FACTOR; }
以上这些构造函数都没有直接的创建一个切实存在的数组,他们都是在为创建数组需要的一些参数做初始化,
所以有些在构造函数中并没有被初始化的属性都会在实际初始化数组的时候用默认值替换。
实际对数组进行初始化是在添加元素的时候进行的(即 put 方法)
public HashMap(Map<? extends K, ? extends V> m) { this.loadFactor = DEFAULT_LOAD_FACTOR; putMapEntries(m, false); }
删除操作就是一个查找 + 删除的过程,相对于添加操作其实容易一些
public V remove(Object key) { Node<K,V> e; return (e = removeNode(hash(key), key, null, false, true)) == null ? null : e.value; }
根据键值删除指定节点,这是一个最常见的操作了。显然,removeNode 方法是核心。
final Node<K,V> removeNode(int hash, Object key, Object value,boolean matchValue, boolean movable) { Node<K,V>[] tab; Node<K,V> p; int n, index; if ((tab = table) != null && (n = tab.length) > 0 && (p = tab[index = (n - 1) & hash]) != null) { Node<K,V> node = null, e; K k; V v; if (p.hash == hash && ((k = p.key) == key || (key != null && key.equals(k)))) node = p; else if ((e = p.next) != null) { if (p instanceof TreeNode) node = ((TreeNode<K,V>)p).getTreeNode(hash, key); else { do { if (e.hash == hash && ((k = e.key) == key || (key != null && key.equals(k)))) { node = e; break; } p = e; } while ((e = e.next) != null); } } if (node != null && (!matchValue || (v = node.value) == value ||(value != null && value.equals(v)))) { if (node instanceof TreeNode) ((TreeNode<K,V>)node).removeTreeNode(this, tab, movable); else if (node == p) tab[index] = node.next; else p.next = node.next; ++modCount; --size; afterNodeRemoval(node); return node; } } return null; }
删除操作需要保证在表不为空的情况下进行,并且 p 节点根据键的 hash 值对应到数组的索引,在该索引处必定有节点,如果为 null ,那么间接说明此键所对应的结点并不存在于整个 HashMap 中,这是不合法的,所以首先要在这两个大前提下才能进行删除结点的操作。
第一步
if (p.hash == hash &&((k = p.key) == key || (key != null && key.equals(k)))) node = p
需要删除的结点就是这个头节点,让 node 引用指向它。否则说明待删除的结点在当前 p 所指向的头节点的链表或红黑树中,于是需要我们遍历查找。
第二步
else if ((e = p.next) != null) { if (p instanceof TreeNode) node = ((TreeNode<K,V>)p).getTreeNode(hash, key); else { do { if (e.hash == hash &&((k = e.key) == key ||(key != null && key.equals(k)))) { node = e; break; } p = e; } while ((e = e.next) != null); } }
如果头节点是红黑树结点,那么调用红黑树自己的遍历方法去得到这个待删结点。否则就是普通链表,我们使用 do while 循环去遍历找到待删结点。找到节点之后,接下来就是删除操作了。
第三步
if (node != null && (!matchValue || (v = node.value) == value ||(value != null && value.equals(v)))) { if (node instanceof TreeNode) ((TreeNode<K,V>)node).removeTreeNode(this, tab, movable); else if (node == p) tab[index] = node.next; else p.next = node.next; ++modCount; --size; afterNodeRemoval(node); return node; }
删除操作也很简单,如果是红黑树结点的删除,直接调用红黑树的删除方法进行删除即可,如果是待删结点就是一个头节点,那么用它的 next 结点顶替它作为头节点存放在 table[index] 中,如果删除的是普通链表中的一个节点,用该结点的前一个节点直接跳过该待删结点指向它的 next 结点即可。
最后,如果 removeNode 方法删除成功将返回被删结点,否则返回 null。
transient volatile Set<K> keySet; public Set<K> keySet() { Set<K> ks; return (ks = keySet) == null ? (keySet = new KeySet()) : ks; } final class KeySet extends AbstractSet<K> { public final int size() { return size; } public final void clear() { HashMap.this.clear(); } public final Iterator<K> iterator() { return new KeyIterator(); } public final boolean contains(Object o) { return containsKey(o); } public final boolean remove(Object key) { return removeNode(hash(key), key, null, false, true) != null; } public final Spliterator<K> spliterator() { return new KeySpliterator<>(HashMap.this, 0, -1, 0, 0); } }
HashMap 中定义了一个 keySet 的实例属性,它保存的是整个 HashMap 中所有键的集合。上述所列出的 KeySet 类是 Set 的一个实现类,它负责为我们提供有关 HashMap 中所有对键的操作。
可以看到,KeySet 中的所有的实例方法都依赖当前的 HashMap 实例,也就是说,我们对返回的 keySet 集中的任意一个操作都会直接映射到当前 HashMap 实例中,例如你执行删除一个键的操作,那么 HashMap 中将会少一个节点。