转载

2018年排名Top 100的Java类库――在分析了277,975份源码之后得出的结论

时间如流水，转眼间2018年已经要接近尾声了，过去的一年，可以说是疯狂的一年。SpaceX成功发射了重型猎鹰火箭，苹果成为首个突破一万亿美元市值的上市公司。

2018年，在IT圈也发生了许多大事和喜事，SpringBoot 2发布、Java发布了10 和 11两个版本、GitHub下嫁MicroSoft、IBM迎娶RedHat等，和往年一样，我们分析了2018年排名Top 100的Java类库。

目的是向你展示2018年的风云Java类库，希望可以给正在使用Java的你一些帮助和启示。不能说榜单中的类库都是最好的，但是至少是目前比较受欢迎的。往期榜单地址：

2017年排名Top 100的Java类库——在分析了259,885份源码之后得出的结论

2016年排名Top 100的Java类库——在分析了47,251个依赖之后得出的结论

最受欢迎的前20个Java类库

今年，Top 100 Java类库的排名发生了一个戏剧性的改变，榜首换人了，在此之前，JUnit已经蝉联了三届冠军。而今年，冠军宝座被fasterXML/Jackson 占据。而这个类库，2016年排名第14名、2017年排名第18名。

2018年排名Top 100的Java类库――在分析了277,975份源码之后得出的结论

Jackson是一个JSON库，可以方便的将JSON转化成Java的对象模型，以及把Java的对象模型转换成一串JSON。在往年的榜单中，Jackson就是所有JSON类库中排名最靠前的。

Jackson所依赖的jar包较少，简单易用并且性能也要相对高些，并且Jackson社区相对比较活跃，更新速度也比较快。具有以下特点：

容易使用 – jackson API提供了一个高层次外观，以简化常用的用例。
无需创建映射 – API提供了默认的映射大部分对象序列化。
性能高 – 快速，低内存占用，适合大型对象图表或系统。
干净的JSON – jackson创建一个干净和紧凑的JSON结果，这是让人很容易阅读。
不依赖 – 库不需要任何其他的库，除了JDK。
开源代码 – jackson是开源的，可以免费使用。

去年包揽前三甲的JUnit家族三大成员JUnit、JUnit Runner和junit.framework今年分别位列第三、第四和第五名。

今年排名第二名的是Apache Hadoop，是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

在我们排名前20的库中，我们可以找到Eclipse基金会的Jetty、Apache基金会的 Shiro 、Netty以及谷歌的Guice库等。

Jetty

Jetty是一个纯粹的基于Java的网页服务器和Java Servlet容器。尽管网页服务器通常用来为人们呈现文档，但是Jetty通常在较大的软件框架中用于计算机与计算机之间的通信。

Shiro

Apache Shiro是一个开源安全框架，提供身份验证、授权、密码学和会话管理。Shiro框架直观、易用，同时也能提供健壮的安全性。

Netty

Netty 是一个基于NIO的客户、服务器端编程框架，使用Netty 可以确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用。Netty相当于简化和流线化了网络应用的编程开发过程，例如：基于TCP和UDP的socket服务开发。

Guice

Guice是Google开发的一个轻量级，基于Java5(主要运用泛型与注释特性)的依赖注入框架(IOC)。Guice非常小而且快。Guice是类型安全的，它能够对构造函数，属性，方法(包含任意个参数的任意方法，而不仅仅是setter方法)进行注入。

除此以外，前20名的榜单中，值得关注的还有开源日志组件——ch.qos.logback、专门用于代码微基准测试的工具套件——org.openjdk.jmh、

除此之外，我们比较熟悉的apache旗下的很多常用类库，如apache.commons.lang、org.apache.ibatis、org.apache.maven、org.apache.http.client、apache.commons.lang3等也都在前20的榜单中。

被挤出前20的Java类库

为了分析榜单的变化情况，我们对比了2017年top20的类库和今年的类库榜单。我们发现，除了JUnit的使用减少以外，还有些类库排名在下降，有些甚至从前二十名被挤出。

首当其冲的是去年位列第四和第五名的Mockito和slf4j，今年被无情的甩出了前20，分别位列第23名和25名。

去年我们重点表扬的，排名第6的，帮助编写用Java语言进行软件测试的框架——Hamcrest 今年惨跌至第37名。

那些值得关注的后来者

我们在今年的结果中看到的最主要的事情是，一切都可以改变。位于榜单底部的库可能会在接下来的一年中名列前茅。这就是为什么我们在2018年的图表中查看了一些不太受欢迎的类库，并在2019年对它们进行跟踪，如:

#85 org.objectweb.asm – A simple API for decomposing, modifying, and recomposing binary Java classes 
#86 com.google.common.primitives – Google Guava Primitive Types 
#87 com.datastax.driver – DataStax Java Driver for Apache Cassandra 
#88 org.json – The data interchange format 
#89 org.apache.commons.math3 – The Apache Commons Mathematics Library 
#90 com.netflix.hystrix – A latency and fault tolerance library designed to isolate points of access to remote systems, services and 3rd party libraries.

那些贡献较大的组织

每年我们都会从GitHub中提取顶级的Java库，然后开始处理这些数据。由于需要区分一个所有者之下的不同文件夹，所以这种处理的大部分工作都是手工完成的。这就是为什么在我们的列表中有许多com.google.common库以及org.springframework 和org.apache等等。

今年，我们决定对顶级Java库进行更广泛的研究，看看谁是顶级“所有者”。我们合并了org.eclipse.XX，org.codehaus.YY，io.nedy.ZZ和类似的位于同一个组织下的类库，然后我们整理出了下面这份榜单：

2018年排名Top 100的Java类库――在分析了277,975份源码之后得出的结论

位居榜首的，就是我们都熟知的，也是在前20的榜单频繁出现的apche基金会。

第二名：springframework
第三名：google
第四名：junit
第五名：eclipse

今年的这份榜单中，值得注意的是有一家来自中国的组织贡献的类库总数进入了前20，那就是上图中排名第15的Alibaba。(作为一个阿里人，作者感到无比骄傲!!!)

在Top 100 Java类库中，com.alibaba.otter排名第85。otter是一个基于数据库增量日志解析，准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。

Alibaba作为一家互联网公司，过去得几年在开源领域做出了很多卓越的贡献。最近几年，Alibaba向Apache基金会捐献了多个重量级开源项目。如JStorm、RocketMQ、Dubbo、Weex等，相信这些项目必将在开源社区的滋养下成长的更加茁壮!!!

分析方法

我们提取数据和数字的方法与去年的方法相似。在OverOps R&D团队的帮助下，我们主要是用了谷歌的BigQuery和GitHub的API。我们提取了前1000个存储库，从中提取了这些存储库使用的Java库。

BigQuery 是 Google 专门面向数据分析需求设计的一种全面托管的 PB 级低成本企业数据仓库。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery 可在几秒内扫描 1 TB 的数据，在几分钟内扫描 1 PB 的数据。

在从GitHub中提取的277,975个Java源文件中，我们过滤掉了Android、Arduino、重复和废弃的repos。至此，我们只剩下28,021个Java源文件。经过切片和分析，我们得到了最后的前100名。

Talk Is Cheap ,Show You The Code

首先，我们创建一个仓库表，用来存储star数排名靠前的哪些类库，命名为java_top_repos_filtered：

SELECT 
  full_name 
FROM 
  java_top_repos_1000 
WHERE NOT ((LOWER(full_name) CONTAINS 'android') OR           (LOWER(full_name) CONTAINS 'arduino')) 
      AND ((description IS null) OR           (NOT ((LOWER(description) CONTAINS 'android') OR                 (LOWER(description) CONTAINS 'arduino') OR                 (LOWER(description) CONTAINS 'deprecated'))));

现在，我们有了排名靠前的类库的名字，然后我们把他们都拉取下来：

SELECT 
  repo_name, 
  content 
FROM  [bigquery-public-data:github_repos.contents] AS contents 
INNER JOIN( 
  SELECT 
    id, 
    repo_name 
  FROM    [bigquery-public-data:github_repos.files] AS files 
  INNER JOIN 
    java_top_repos_filtered AS top_repos 
  ON 
    files.repo_name = top_repos.full_name 
  WHERE 
    path LIKE '%.java') AS files_filtered 
ON 
  contents.id = files_filtered.id;

至此，我们有了每个项目的源代码，我们就要把去重后的import的语句过滤出来，然后在提取包名称。

SELECT  package, 
  COUNT(*) count 
FROM( //extract package name (exclude last point of data) and group with repo name (to count each package once per repo) 
  SELECT 
    REGEXP_EXTRACT(import_line, r' ([a-z0-9/._]*)/.') package, 
    repo_name 
  FROM  ( //extract only 'import' code lines from *.java files 
    SELECT 
      SPLIT(content, '/n') import_line, 
      repo_name 
    FROM 
      java_relevant_data 
    HAVING 
      LEFT(import_line, 6) = 'import' 
  ) 
  GROUP BY    package, 
    repo_name)GROUP BY  packageORDER BY 
  count DESC;

最后，我们再进行一次过滤，确保没有Android, Arduino、过时的或者Java提供的原生的类库。

SELECT  *FROM 
  java_top_package_count 
WHERE 
  NOT ((LEFT(package, 5) = 'java.') OR       (LOWER(package) CONTAINS 'android'))ORDER BY 
  count DESC;

至此，你就得到了一份2017年排名Top 100的Java类库的列表了。