使用Java 8 中的并行流已经有很长一段时间,有很多时候对于集合的处理可以不再去使用多线程,而直接使用并行流,因为并行流是线程安全的。但是我发现有很多人也包括我在使用并行流的时候,并没有正确的去使用它,而导致一些问题,甚至怀疑并行流到底是不是线程安全的。
为了找到避免这个不正确用法坑,为此我写了一些并行流的示例。
这里我写了一个很常见的错误用法:
List<Integer> integers = new ArrayList<>(); for (int i = 0; i < 1000; i++ ) { integers.add(i); } List<String> strings = new ArrayList<>(); integers.parallelStream().forEach(i -> strings.add(i.toString())); System.out.println(strings);
输出结果:
Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) ... Caused by: java.lang.ArrayIndexOutOfBoundsException: 823 at java.util.ArrayList.add(ArrayList.java:463) at xin.codedream.parallel.ParallelStreamExample.lambda$main$0(ParallelStreamExample.java:18) ...
是的,这种错误的使用方式会导致 下标越界
或者 空指针异常
。这个时候就会有人怀疑并行流的线程安全问题。
把ArrayList换成线程安全的 CopyOnWriteArrayList
或者使用 Collections.synchronizedList()
来创建一个线程安全的集合。
这是使用 CopyOnWriteArrayList
的示例:
List<Integer> integers = new ArrayList<>(); for (int i = 0; i < 1000; i++ ) { integers.add(i); } List<String> strings = new CopyOnWriteArrayList<>(); integers.parallelStream().forEach(i -> strings.add(i.toString())); System.out.println(strings);
输出结果:
[656, 657, 658...873, 874]
值得庆幸的是这段代码并没有报错。但,我们去看看它的代码你会发现使用了 锁
:
java.util.concurrent.CopyOnWriteArrayList#add(E) ... public boolean add(E e) { final ReentrantLock lock = this.lock; lock.lock(); try { Object[] elements = getArray(); int len = elements.length; Object[] newElements = Arrays.copyOf(elements, len + 1); newElements[len] = e; setArray(newElements); return true; } finally { lock.unlock(); } }
同样使用 Collections.synchronizedList()
,也能创建线程安全的集合,同样的我们去看看它的代码:
java.util.Collections.SynchronizedList#add ... public void add(int index, E element) { synchronized (mutex) {list.add(index, element);} }
同样的,也是用锁。线程安全的集合的性能有一定下降,那我们来看看正确的使用方法。
List<Integer> integers = new ArrayList<>(); for (int i = 0; i < 1000; i++) { integers.add(i); } List<String> strings = integers.parallelStream().collect(ArrayList::new, (arrayList, i) -> { arrayList.add(i.toString()); }, List::addAll); System.out.println(strings);
输出结果:
[0, 1, 2...998, 999]
是的,这就是并行流正确的使用方法,而且可以看到还是数字也是连续的,并不像使用线程安全的集合那样并非从头到尾都是连续的数字。
为了找出这个不正确使用方式导致的出错的原因,我看了看相关的源代码 java.util.stream.ForEachOps.ForEachTask#compute
:
中的这一行代码 task.propagateCompletion();
:
在不正确的方式下执行了多次,而正确方式下并行流,却没有执行过一次。
我猜测,导致使用出错的原因是因为, 并行流在分割任务时由于之前分割的任务还没执行完,而已经执行任务的线程,去将未执行完或者执行到一半的线程的任务再次进行分割后去执行,而使用的是非线程安全的类被其他线程重复的执行,而导致出错或者结果不对。
这次排查,我并没有很找出导致出错的真正原因,所以只是猜测它可能是因为这个原因而导致出错。真正排查出这个原因后,将会更新此文。
blog: https://www.codedream.xin