大数据：从入门到XX

Posted 2020-07-26

   因为不小心被大数据撞了一下腰，这两天有点小郁闷，前思后想了一番，还是决定在工作之余，临时抱抱大数据的佛脚，以备吹牛之用。

   大数据到底现在有多热呢，没有研究就有发言权哪，还是看看国家权威发布吧。我上网查了一下，发现主席在2014年的大会上就提到了：“大数据、云计算、移动互联网等新一代信息技术同机器人技术相互融合步伐加快”。这都是两年前的话了，两年后的今天，大数据已经发展到什么阶段了呢，我还是抄近路去看个究竟把。

   一提起大数据，首先想到的就是HADOOP了，然后就是APACHE，然后就是免费。为了一探究竟，还得先从APACHE谈起。为了避免被二手资料误导，我先去官网APACHE Project Directory逛了逛（一开始用的是宽带上网，页面在不停的打转，后来换成移动4G的信号才行，看来盆子不能都扣到防火墙头上啊）。以下就是官网显示的部分内容。

• Project listings:

•    By Name

•    By PMC

•    By Category

•    By Programming Language

•    By Number of Committers

  
  

  其它的内容不一一贴了，老外网站上显示的内容也不太符合中国人的习惯，我用数据分析的方法调整了一下展示方式。

  目前APACHE上一共有330个项目（官网显示333个，但有3个重复显示了：Apache DataFu (Incubating)、Apache Quarks (Incubating)、Apache Taverna (Incubating)）。

  下表是按照项目的功能进行分类展示，其中有些项目同属于多个category。

RANK	CATEGORY	QTY.
1	library	93
2	network-server	39
3	big-data	36
4	xml	31
5	web-framework	27
6	database	25
7	network-client	25
8	retired	23
9	build-management	20
10	content	17
11	http	15
12	cloud	12
13	javaee	10
14	osgi	6
15	graphics	5
16	testing	5
17	httpd-module	4
18	Library	3
19	hadoop	3
20	security	3
21	identity-management	3
22	SDK	2
23	mail	2
24	regexp	2
25	mobile	2
26	identity-provisioning	2
27	Kerberos	1
28	sql	1
29	virtual-machine	1
30	OSGi	1
31	ftp	1
32	composite-oriented-programming	1
33	Framework	1

    从上表可以看出，目前大数据相关的开源项目有36个，排在第3位，big data+cloud+hadoop总共有51个开源项目，看来大数据、云计算家族确实人丁兴旺。

   下表是各个项目所用的开发语言或者支持的语言，从中也大致能了解到语言的流行程度。

RANK	CATEGORY	QTY.
1	Java	224
2	C	21
3	Python	18
4	javascript	14
5	C++	14
6	Scala	12
7	C#	11
8	Perl	9
9	php	7
10	Ruby	7
11	XML	5
12	Groovy	3
13	Go	3
14	SQL	3
15	ActionScript	2
16	Erlang	2
17	Tcl	2
18	Bash	2
19	Node.JS	2
20	ODBC	1
21	OCaml	1
22	Delphi	1
23	SVG	1
24	JSP	1
25	D	1
26	SmallTalk	1
27	Haskell	1
28	Freemarker	1
29	JDBC	1
30	Objective-C	1
31	Cocoa	1

    从上表可以看出APACHE上开发语言的使用情况，除了老三样 C (含C++）、JAVA、JavaScript，另外还包括了Python和Scala也都排进了前六名。至于大数据相关的几个项目，都用到了什么样的开发语言，下一篇再聊。