小白都会用的低代码大数据ETL工具又来了

Posted 2021-07-30 webmote

StreamSets Data Collector TM是一种轻量级，功能强大的设计和执行引擎，可实时传输数据。使用数据收集器来路由和处理数据流中的数据。

1.低代码有图有真相

• 简单可视化
  

• 基于配置的组件
  
  通过2可以配置组件参数。

• 所见即所得的调试
  
  调试期间,直接可以通过2查看每个组件的流入流出数据.

• 运行期监视
  
  通过2,3可以快速浏览统计数据。

• 故障快照
  

• 错误自动收集
  

2.安装下载

是不是想试试？，安装非常简单，只是国外资源下载较慢，我这里给大家已经准备好了下载的资源，大家可以收藏使用。

链接：https://pan.baidu.com/s/1Jh8fgZV7hUCpHV0LqGNn_A 
提取码：2lpd 

内含多种案例的构建教程.

3.安装步骤

当前版本：3.22.2 | 发行日期：2021年5月4日| ,据官方消息,4.0已经在开发中，目前的产品级版本必须安装在linux上，如果想尝试windows上，可以到官方下载测试版。

1. 下载后准备环境。

2. 下载并安装OpenJDK 8或Java 8 JDK。（您必须具有Java 8 JDK，而不是Java 8 JRE。）

3. 打开终端，并将文件描述符限制设置为至少32768。

4. 通过运行以下命令提取压缩包。
   tar xvzf streamsets-datacollector-common-3.22.2.tgz

5. 成功提取压缩包后，将文件夹更改为安装的根目录。
   cd streamsets-datacollector-3.22.2

6. 要启动Data Collector，请使用以下命令。
   bin/streamsets dc

7. 在浏览器中，输入终端窗口中显示的URL。（例如，http：//10.0.0.100：18360）

8. 如果您尚未登录帐户，则需要登录。

9. 系统将要求您将数据收集器链接到您的帐户。

10. 链接后，将安装StreamSets数据收集器。

4 愉快的玩耍

通过建立管道,你可以愉快的玩耍各种数据源和目标了.

亚马逊S3
亚马逊SQS消费者
Azure Data Lake Storage Gen1（不建议使用）
Azure Data Lake Storage Gen2
Azure IoT /事件中心使用者
CoAP服务器
Cron Scheduler
目录
弹性搜索
文件尾
Google BigQuery
谷歌云存储
Google Pub / Sub订阅者
Groovy脚本
gRPC客户端
Hadoop FS独立版
HTTP客户端
HTTP服务器
javascript脚本编制
JDBC多表使用者
JDBC查询使用者
JMS消费者
Jython脚本
Kafka多主题消费者
运动消费者
MapR DB CDC
MapR DB JSON
MapR FS独立版
MapR Multitopic Streams消费者
MapR流消费者
MongoDB的
MongoDB Oplog
MQTT订户
mysql二进制日志
OPC UA客户端
Oracle批量加载
Oracle CDC客户端
PostgreSQL CDC客户端
脉冲星消费者
RabbitMQ消费者
Redis消费者
REST服务
销售队伍
SAP HANA查询使用者
SFTP / FTP / FTPS客户端
SQL Server 2019 BDC多表使用者
SQL Server CDC客户端
SQL Server更改跟踪
开始工作
系统指标
TCP服务器
UDP多线程源
UDP来源
WebSocket客户端
WebSocket服务器
Windows事件日志
Amazon S3
Azure Data Lake Storage Gen2
Azure Event Hub Producer
Azure IoT Hub Producer
Azure Synapse SQL
Cassandra
CoAP Client
Couchbase
Databricks Delta Lake
Einstein Analytics
Elasticsearch
Flume (deprecated)
Google BigQuery
Google Bigtable
Google Cloud Storage
Google Pub/Sub Publisher
Hadoop FS
HBase
Hive Metastore
HTTP Client
InfluxDB
JDBC Producer
JMS Producer
Kafka Producer
Kinesis Firehose
Kinesis Producer
Kudu
Local FS
MapR DB
MapR DB JSON
MapR FS
MapR Streams Producer
MongoDB
MQTT Publisher
Named Pipe
Pulsar Producer
RabbitMQ Producer
Redis
Salesforce
Send Response to Origin
SFTP/FTP/FTPS Client
Snowflake
Solr
Splunk
SQL Server 2019 BDC Bulk Loader
Syslog
To Error
Trash
WebSocket Client

5.小结

如果有使用上的问题,可以翻看我之前的教程系列.也可以随时问我哦!