转载

Java 8 中并行流的使用注意事项

Java 8 中并行流的使用注意事项

使用Java 8 中的并行流已经有很长一段时间,有很多时候对于集合的处理可以不再去使用多线程,而直接使用并行流,因为并行流是线程安全的。但是我发现有很多人也包括我在使用并行流的时候,并没有正确的去使用它,而导致一些问题,甚至怀疑并行流到底是不是线程安全的。

为了找到避免这个不正确用法坑,为此我写了一些并行流的示例。

错误的使用方式

这里我写了一个很常见的错误用法:

List<Integer> integers = new ArrayList<>();
for (int i = 0; i < 1000; i++ ) {
    integers.add(i);
}

List<String> strings = new ArrayList<>();
integers.parallelStream().forEach(i -> strings.add(i.toString()));

System.out.println(strings);

输出结果:

Exception in thread "main" java.lang.ArrayIndexOutOfBoundsException
    at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
    ...
Caused by: java.lang.ArrayIndexOutOfBoundsException: 823
    at java.util.ArrayList.add(ArrayList.java:463)
    at xin.codedream.parallel.ParallelStreamExample.lambda$main$0(ParallelStreamExample.java:18)
    ...

是的,这种错误的使用方式会导致 下标越界 或者 空指针异常 。这个时候就会有人怀疑并行流的线程安全问题。

把ArrayList换成线程安全的 CopyOnWriteArrayList 或者使用 Collections.synchronizedList() 来创建一个线程安全的集合。

使用线程安全的集合

这是使用 CopyOnWriteArrayList 的示例:

List<Integer> integers = new ArrayList<>();
for (int i = 0; i < 1000; i++ ) {
    integers.add(i);
}

List<String> strings = new CopyOnWriteArrayList<>();
integers.parallelStream().forEach(i -> strings.add(i.toString()));

System.out.println(strings);

输出结果:

[656, 657, 658...873, 874]

值得庆幸的是这段代码并没有报错。但,我们去看看它的代码你会发现使用了 :

java.util.concurrent.CopyOnWriteArrayList#add(E)
...
public boolean add(E e) {
    final ReentrantLock lock = this.lock;
    lock.lock();
    try {
        Object[] elements = getArray();
        int len = elements.length;
        Object[] newElements = Arrays.copyOf(elements, len + 1);
        newElements[len] = e;
        setArray(newElements);
        return true;
    } finally {
        lock.unlock();
    }
}

同样使用 Collections.synchronizedList() ,也能创建线程安全的集合,同样的我们去看看它的代码:

java.util.Collections.SynchronizedList#add
...
public void add(int index, E element) {
    synchronized (mutex) {list.add(index, element);}
}

同样的,也是用锁。线程安全的集合的性能有一定下降,那我们来看看正确的使用方法。

并行流正确的使用方法

List<Integer> integers = new ArrayList<>();
for (int i = 0; i < 1000; i++) {
    integers.add(i);
}

List<String> strings = integers.parallelStream().collect(ArrayList::new, (arrayList, i) -> {
    arrayList.add(i.toString());
}, List::addAll);

System.out.println(strings);

输出结果:

[0, 1, 2...998, 999]

是的,这就是并行流正确的使用方法,而且可以看到还是数字也是连续的,并不像使用线程安全的集合那样并非从头到尾都是连续的数字。

排查不正确使用方式出错的原因

为了找出这个不正确使用方式导致的出错的原因,我看了看相关的源代码 java.util.stream.ForEachOps.ForEachTask#compute

Java 8 中并行流的使用注意事项

中的这一行代码 task.propagateCompletion();

Java 8 中并行流的使用注意事项

在不正确的方式下执行了多次,而正确方式下并行流,却没有执行过一次。

我猜测,导致使用出错的原因是因为, 并行流在分割任务时由于之前分割的任务还没执行完,而已经执行任务的线程,去将未执行完或者执行到一半的线程的任务再次进行分割后去执行,而使用的是非线程安全的类被其他线程重复的执行,而导致出错或者结果不对。

这次排查,我并没有很找出导致出错的真正原因,所以只是猜测它可能是因为这个原因而导致出错。真正排查出这个原因后,将会更新此文。

blog: https://www.codedream.xin

原文  https://segmentfault.com/a/1190000021493139
正文到此结束
Loading...