大数据服务脚本化管理

Posted 一笑之奈何

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了大数据服务脚本化管理相关的知识,希望对你有一定的参考价值。

HBASE

echo "create ‘TEST‘, {NAME => ‘cf1‘, VERSIONS => ‘3‘, COMPRESSION => ‘SNAPPY‘}, {NAME => ‘cf2‘, VERSIONS => ‘3‘, COMPRESSION => ‘SNAPPY‘}, SPLITS_FILE => ‘/tmp/splits_file.txt‘" | $HBASE_HOME/bin/hbase shell -n > /dev/null 2>&1

$HBASE_HOME/bin/hbase shell script1.sh

 

SPARK SQL建表

$SPARK_HOME/bin/beeline -u $SPARK-SQL-URL -n $USER -p PASSWORD -e "SQL CLAUSE"

 

KAFKA建主题

$KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper $KAFKA_ZK --topic my_topic --config retention.ms=3600 --partitions 10 --replication-factor 1

 

以上是关于大数据服务脚本化管理的主要内容,如果未能解决你的问题,请参考以下文章

(课程)基于HBase做Storm 实时计算指标存储

自学大数据第十天~Hbase

大数据开发|HBASE分布式数据库环境构建

本周学习计划 | 微服务搜索引擎架构Hbase源码剖析深度学习……

Hbase随笔

使用linux脚本shell检查大数据各节点服务是否运行正常