2018年排名Top 100的Java类库——在分析了277,975份源码之后得出的结论

Posted

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了2018年排名Top 100的Java类库——在分析了277,975份源码之后得出的结论相关的知识,希望对你有一定的参考价值。

2018年排名Top 100的Java类库——在分析了277,975份源码之后得出的结论

原创 Hollis Hollis 2018-11-08
时间如流水,转眼间2018年已经要接近尾声了,过去的一年,可以说是疯狂的一年。SpaceX成功发射了重型猎鹰火箭,苹果成为首个突破一万亿美元市值的上市公司。

2018年,在IT圈也发生了许多大事和喜事,SpringBoot 2发布、Java发布了10 和 11两个版本、GitHub下嫁MicroSoft、IBM迎娶RedHat等,和往年一样,我们分析了2018年排名Top 100的Java类库。

目的是向你展示2018年的风云Java类库,希望可以给正在使用Java的你一些帮助和启示。不能说榜单中的类库都是最好的,但是至少是目前比较受欢迎的。往期榜单地址:

2017年排名Top 100的Java类库——在分析了259,885份源码之后得出的结论
2016年排名Top 100的Java类库——在分析了47,251个依赖之后得出的结论

最受欢迎的前20个Java类库


今年,Top 100 Java类库的排名发生了一个戏剧性的改变,榜首换人了,在此之前,JUnit已经蝉联了三届冠军。而今年,冠军宝座被fasterXML/Jackson 占据。 而这个类库,2016年排名第14名、2017年排名第18名。
技术图片

Jackson是一个JSON库,可以方便的将JSON转化成Java的对象模型,以及把Java的对象模型转换成一串JSON。在往年的榜单中,Jackson就是所有JSON类库中排名最靠前的。

Jackson所依赖的jar包较少,简单易用并且性能也要相对高些,并且Jackson社区相对比较活跃,更新速度也比较快。具有以下特点:

  • 容易使用 – jackson API提供了一个高层次外观,以简化常用的用例。
  • 无需创建映射 – API提供了默认的映射大部分对象序列化。
  • 性能高 – 快速,低内存占用,适合大型对象图表或系统。
  • 干净的JSON – jackson创建一个干净和紧凑的JSON结果,这是让人很容易阅读。
  • 不依赖 – 库不需要任何其他的库,除了JDK。
  • 开源代码 – jackson是开源的,可以免费使用。
    去年包揽前三甲的JUnit家族三大成员JUnit、JUnit Runner和junit.framework今年分别位列第三、第四和第五名。

今年排名第二名的是Apache Hadoop,是一款支持数据密集型分布式应用程序并以Apache 2.0许可协议发布的开源软件框架。它支持在商品硬件构建的大型集群上运行的应用程序。Hadoop的框架最核心的设计就是:HDFS和MapReduce。HDFS为海量的数据提供了存储,而MapReduce则为海量的数据提供了计算。

在我们排名前20的库中,我们可以找到Eclipse基金会的Jetty、Apache基金会的 Shiro 、Netty以及谷歌的Guice库等。

Jetty

Jetty是一个纯粹的基于Java的网页服务器和Java Servlet容器。尽管网页服务器通常用来为人们呈现文档,但是Jetty通常在较大的软件框架中用于计算机与计算机之间的通信。

Shiro

Apache Shiro是一个开源安全框架,提供身份验证、授权、密码学和会话管理。Shiro框架直观、易用,同时也能提供健壮的安全性。

Netty

Netty 是一个基于NIO的客户、服务器端编程框架,使用Netty 可以确保你快速和简单的开发出一个网络应用,例如实现了某种协议的客户、服务端应用。Netty相当于简化和流线化了网络应用的编程开发过程,例如:基于TCP和UDP的socket服务开发。

Guice

Guice是Google开发的一个轻量级,基于Java5(主要运用泛型与注释特性)的依赖注入框架(IOC)。Guice非常小而且快。Guice是类型安全的,它能够对构造函数,属性,方法(包含任意个参数的任意方法,而不仅仅是setter方法)进行注入。

除此以外,前20名的榜单中,值得关注的还有开源日志组件——ch.qos.logback、专门用于代码微基准测试的工具套件——org.openjdk.jmh、

除此之外,我们比较熟悉的apache旗下的很多常用类库,如apache.commons.lang、org.apache.ibatis、org.apache.maven、org.apache.http.client、apache.commons.lang3等也都在前20的榜单中。

被挤出前20的Java类库


为了分析榜单的变化情况,我们对比了2017年top20的类库和今年的类库榜单。我们发现,除了JUnit的使用减少以外,还有些类库排名在下降,有些甚至从前二十名被挤出。
首当其冲的是去年位列第四和第五名的Mockito和slf4j,今年被无情的甩出了前20,分别位列第23名和25名。

去年我们重点表扬的,排名第6的,帮助编写用Java语言进行软件测试的框架——Hamcrest 今年惨跌至第37名。

那些值得关注的后来者


我们在今年的结果中看到的最主要的事情是,一切都可以改变。位于榜单底部的库可能会在接下来的一年中名列前茅。这就是为什么我们在2018年的图表中查看了一些不太受欢迎的类库,并在2019年对它们进行跟踪,如:

#85 org.objectweb.asm – A simple API for decomposing, modifying, and recomposing binary Java classes
#86 com.google.common.primitives – Google Guava Primitive Types
#87 com.datastax.driver – DataStax Java Driver for Apache Cassandra
#88 org.json – The data interchange format
#89 org.apache.commons.math3 – The Apache Commons Mathematics Library
#90 com.netflix.hystrix – A latency and fault tolerance library designed to isolate points of access to remote systems, services and 3rd party libraries.

那些贡献较大的组织


每年我们都会从GitHub中提取顶级的Java库,然后开始处理这些数据。由于需要区分一个所有者之下的不同文件夹,所以这种处理的大部分工作都是手工完成的。这就是为什么在我们的列表中有许多com.google.common库以及org.springframework 和org.apache等等。
今年,我们决定对顶级Java库进行更广泛的研究,看看谁是顶级“所有者”。我们合并了org.eclipse.XX,org.codehaus.YY,io.nedy.ZZ和类似的位于同一个组织下的类库,然后我们整理出了下面这份榜单:
技术图片

位居榜首的,就是我们都熟知的,也是在前20的榜单频繁出现的apche基金会。

第二名:springframework
第三名:google
第四名:junit
第五名:eclipse

今年的这份榜单中,值得注意的是有一家来自中国的组织贡献的类库总数进入了前20,那就是上图中排名第15的Alibaba。(作为一个阿里人,作者感到无比骄傲!!!)

在Top 100 Java类库中,com.alibaba.otter排名第85。otter是一个基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。

Alibaba作为一家互联网公司,过去得几年在开源领域做出了很多卓越的贡献。最近几年,Alibaba向Apache基金会捐献了多个重量级开源项目。如JStorm、RocketMQ、Dubbo、Weex等,相信这些项目必将在开源社区的滋养下成长的更加茁壮!!!

分析方法


我们提取数据和数字的方法与去年的方法相似。在OverOps R&D团队的帮助下,我们主要是用了谷歌的BigQuery和GitHub的API。我们提取了前1000个存储库,从中提取了这些存储库使用的Java库。

BigQuery 是 Google 专门面向数据分析需求设计的一种全面托管的 PB 级低成本企业数据仓库。该服务让开发者可以使用Google的架构来运行SQL语句对超级大的数据库进行操作。BigQuery 可在几秒内扫描 1 TB 的数据,在几分钟内扫描 1 PB 的数据。

在从GitHub中提取的277,975个Java源文件中,我们过滤掉了android、Arduino、重复和废弃的repos。至此,我们只剩下28,021个Java源文件。经过切片和分析,我们得到了最后的前100名。

Talk Is Cheap ,Show You The Code

首先,我们创建一个仓库表,用来存储star数排名靠前的哪些类库,命名为java_top_repos_filtered:

SELECT
  full_name
FROM
  java_top_repos_1000
WHERE NOT ((LOWER(full_name) CONTAINS ‘android‘) OR           (LOWER(full_name) CONTAINS ‘arduino‘))
      AND ((description IS null) OR           (NOT ((LOWER(description) CONTAINS ‘android‘) OR                 (LOWER(description) CONTAINS ‘arduino‘) OR                 (LOWER(description) CONTAINS ‘deprecated‘))));

现在,我们有了排名靠前的类库的名字,然后我们把他们都拉取下来:

SELECT
  repo_name,
  content
FROM  [bigquery-public-data:github_repos.contents] AS contents
INNER JOIN(
  SELECT
    id,
    repo_name
  FROM    [bigquery-public-data:github_repos.files] AS files
  INNER JOIN
    java_top_repos_filtered AS top_repos
  ON
    files.repo_name = top_repos.full_name
  WHERE
    path LIKE ‘%.java‘) AS files_filtered
ON
  contents.id = files_filtered.id;

至此,我们有了每个项目的源代码,我们就要把去重后的import的语句过滤出来,然后在提取包名称。

SELECT  package,
  COUNT(*) count
FROM( //extract package name (exclude last point of data) and group with repo name (to count each package once per repo)
  SELECT
    REGEXP_EXTRACT(import_line, r‘ ([a-z0-9._]*).‘) package,
    repo_name
  FROM  ( //extract only ‘import‘ code lines from *.java files
    SELECT
      SPLIT(content, ‘
‘) import_line,
      repo_name
    FROM
      java_relevant_data
    HAVING
      LEFT(import_line, 6) = ‘import‘
  )
  GROUP BY    package,
    repo_name)GROUP BY  packageORDER BY
  count DESC;

最后,我们再进行一次过滤,确保没有Android, Arduino、过时的或者Java提供的原生的类库。

SELECT  *FROM
  java_top_package_count
WHERE
  NOT ((LEFT(package, 5) = ‘java.‘) OR       (LOWER(package) CONTAINS ‘android‘))ORDER BY
  count DESC;

至此,你就得到了一份2017年排名Top 100的Java类库的列表了。

最后的一点想法


Java在过去的几个月里经历了一些变化。它从6个月的发布周期开始,最近我们听说只有OpenJDK构建版本可以自由访问,而Java SE 8公开更新将需要生产使用的商业许可证。

Java的变化影响了开发人员,我们可以通过GitHub顶级Java库流行程度的变化看出这一点。最近关于对Java SE更新收费的新闻可能会导致openjdk相关库的使用增加,甚至可能会将数据转移到企业相关库。

最后,如果你想获取整份榜单,请关注Hollis公众号(ID:hollischuang),后台回复:榜单,即可获得完整版PDF。

福利时间


11月第2次送书活动。本次送出技术书籍 5 本。感谢关注Hollis,除了大量原创技术文章推送外,每月还会开展多次送书活动。如果你觉得Hollis对你有帮助,欢迎推荐给你身边的朋友。

书籍介绍
技术图片
《实战Java高并发程序设计(第2版)》

《实战Java高并发程序设计(第2版)》主要介绍基于Java的并行程序设计基础、思路、方法和实战。第一,立足于并发程序基础,详细介绍Java进行并行程序设计的基本方法。第二,进一步详细介绍了JDK对并行程序的强大支持,帮助读者快速、稳健地进行并行程序开发。第三,详细讨论了“锁”的优化和提高并行程序性能级别的方法和思路。第四,介绍了并行的基本设计模式,以及Java 8/9/10对并行程序的支持和改进。第五,介绍了高并发框架Akka的使用方法。第六,详细介绍了并行程序的调试方法。第七,分析Jetty代码并给出一些其在高并发优化方面的例子。
《实战Java高并发程序设计(第2版)》内容丰富,实例典型,实用性强,适合有一定Java基础的技术开发人员阅读。

购买链接
参与方式

公众号后台回复『送书』,即可参与抽奖。

PS:是后台回复不是留言哦~。~!!! 点击上方公众号名称,进入公众号,对话回复『送书』。

  • MORE | 更多精彩文章 -
  • 漫话:如何给女朋友解释什么是并发和并行
  • 程序员和产品经理因为一盘宫保鸡丁引发的血案
  • 阿里巴巴开源 Spring Cloud Alibaba
  • 再有人问你Netty是什么,就把这篇文章发给他

如果你看到了这里,说明你喜欢本文。
那么请长按二维码,关注Hollis
技术图片
转发朋友圈,是对我最大的支持。

以上是关于2018年排名Top 100的Java类库——在分析了277,975份源码之后得出的结论的主要内容,如果未能解决你的问题,请参考以下文章

2019年排名Top 100的Java类库——在分析了30073份源码之后得出的结论

排名Top 100的Java类库——在分析了47,251个依赖之后得出的结论

Hollis公众号2017年文章汇总

2015 年度新增开源软件排名TOP100

排名Top 16的Java实用类库

2022 年度「博客之星」评选TOP 100完整榜单排名