2022 开源大数据热力报告

Posted 2022-10-14 ejinxian

研究遵循如下阶段：

1、公开数据初筛

2、 项目技术分类

3、 专家审议

4、入围公示 & 征集修正

5、 热力值计算和关联分析

6、 数据洞察和课题研究

7、 报告审议

项目初筛 Github 上 Topic Tag 满足如下条件且开源的大数据项目：

Topic Tag：big-data、etl、data-ingestion、data-collection、data-pipeline、data-analysis、data-analytics、analytics、data visualization、business-intelligence、data science、data-engineering

 

技术分类

根据大数据现代技术栈框架，对初筛项目进行技术分类。技术分类包括：

数据集成、流处理、数据存储、数据查询和分析、数据开发、数据调度和编排、数据管理 / 安全 / 中间件、数据可视化。

• 数据查询和分析分类聚焦大数据分析类型项目，不包括 OLTP 数据库、OLTP 能力为主的 HTAP 数据库和 NoSQL 数据库
• 数据可视化分类中需具备数据源链接和处理能力，不包括可视化框架工具项目
• 数据管理 / 安全 / 中间件分类中，项目较少且功能互相交叠，因此归为一类
• 本次报告聚焦大数据领域，不包含大数据 AI 融合型项目项目公示

项目列表

技术分类	项目名称
数据集成	airbytehq/airbyte alibaba/DataX apache/camel apache/flume apache/incubator-seatunnel apache/inlong apache/sqoop dbt-labs/dbt-core debezium/debezium ververica/flink-cdc-connectors
流处理	apache/beam apache/flink apache/incubator-heron apache/incubator-streampark apache/kafka apache/pulsar apache/samza apache/storm
数据查询和分析	apache/arrow-datafusion apache/calcite apache/cassandra apache/doris apache/drill apache/druid apache/hawq apache/hbase apache/hive apache/impala apache/incubator-kyuubi apache/kylin apache/lucene apache/phoenix apache/pig apache/pinot apache/solr apache/spark apache/tez ClickHouse/ClickHouse duckdb/duckdb elastic/elasticsearch eventql/eventql greenplum-db/gpdb opensearch-project/OpenSearch prestodb/presto StarRocks/starrocks trinodb/trino uber/aresdb
数据存储	apache/avro apache/bookkeeper apache/carbondata apache/hadoop-hdfs apache/hudi apache/iceberg apache/incubator-pegasus apache/kudu apache/ozone apache/parquet-format delta-io/delta hazelcast/hazelcast juicedata/juicefs
数据管理 / 安全 / 中间件	apache/ambari apache/arrow apache/atlas apache/bigtop apache/hadoop apache/knox apache/ranger cube-js/cube.js datahub-project/datahub
数据开发	apache/incubator-devlake apache/zeppelin jupyter/notebook pachyderm/pachyderm
数据可视化	apache/superset dataease/dataease edp963/davinci elastic/kibana getredash/redash grafana/grafana keplergl/kepler.gl metabase/metabase shzlw/poli
数据调度和编排	Alluxio/alluxio apache/airflow apache/dolphinscheduler apache/incubator-linkis apache/nifi apache/oozie apache/zookeeper dagster-io/dagster kestra-io/kestra PrefectHQ/prefect