streamsets 安装

Posted fangxuanlang

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了streamsets 安装相关的知识,希望对你有一定的参考价值。

 

这里有很多坑点

1. 我下载的是rpm 包,full

       直接安装, 安装好后,路径在 /opt 目录

 

2. 启动    -注意报错

2.1  先给他创建 一个 日志目录, 安装好后是不存在这个目录

  mkdir /opt/streamsets-datacollector/log

2.2  启动时注意报错

  [root@efk-60-202 bin]# ./streamsets  dc
Java 1.8 detected; adding $SDC_JAVA8_OPTS of "-XX:+UseConcMarkSweepGC -XX:+UseParNewGC -Djdk.nio.maxCachedBufferSize=262144" to $SDC_JAVA_OPTS
WARN: Security is enabled and was unable to verify policy file ‘file:///opt/streamsets-datacollector/etc/sdc-security.policy‘
Exception in thread "main" java.security.AccessControlException: access denied ("java.util.PropertyPermission" "streamsets.bootstrap.customInitializer.class" "read")
    at java.security.AccessControlContext.checkPermission(AccessControlContext.java:472)
    at java.security.AccessController.checkPermission(AccessController.java:884)
    at java.lang.SecurityManager.checkPermission(SecurityManager.java:549)
    at java.lang.SecurityManager.checkPropertyAccess(SecurityManager.java:1294)
    at java.lang.System.getProperty(System.java:717)
    at com.streamsets.pipeline.BootstrapMain.main(BootstrapMain.java:108)
     

解决  RPM 包的安装方式,不是这么启动的

Install RPM:

$ tar xf streamsets-datacollector-3.13.0-[operating system]-all-rpms.tar
$ yum localinstall streamsets*.rpm

Run Data Collector on an EL6 operating system:

$ service sdc start

Run Data Collector on an EL7 operating system:

$ systemctl start sdc

Browse to http://:18630/

The default username and password are “admin” and “admin”.

 

 

2.3  full tar ball 的安装方式

技术图片

 

 

 

Extract Tarball:

$ tar xvzf streamsets-datacollector-all-3.13.0.tgz

Run Data Collector:

$ streamsets-datacollector-3.13.0/bin/streamsets dc

Browse to http://:18630/

The default username and password are “admin” and “admin”.


 

 

2.4  docker 镜像方式安装

技术图片

以上是关于streamsets 安装的主要内容,如果未能解决你的问题,请参考以下文章

数据对接-ETL之StreamSet学习之旅一

streamsets 安装

streamsets docker 安装试用

streamsets 包管理

streamsets安装部署

CM6.3.1-CDH6.3.2安装Streamsets3.22.3