大数据开发常见问题

Posted 2023-01-02 顶尖高手养成计划

SSH

• 如果有对应的ssh连接出错，修改ssh的配置文件允许访问。

Hadoop

• 安装hadoop之前一定要修改hostname和对应的映射/etc/hosts，因为hadoop会依赖到hostname。
• 如果出现运行wordcount卡住的情况，那么可能是/etc/hosts对应的127.0.0.1影响了，注解掉，重启hadoop。

Hive on Spark

•  yarn logs -applicationId  application_1670892172838_0002 查看对应的日志一般就可以找到答案，如果是对应的hostname无法找到，那么就是安装hadoop的时候可能没有修改hostname,修改重启hadoop就行。
• 如果磁盘到达百分之90往上，那么nodemanager就会是unhealth状态。

DataX

• 如果低版本的驱动连接8.0的话就要下载对应的8.0的jdbcjar

https://dev.mysql.com/downloads/file/?id=513754

应用文章

java.sql.SQLException:Could not retrieve transation read-only status server解决方法_观澄的博客-CSDN博客_sqlexception: could not retrieve transation read-o

找到对应的插件的lib文件替换就行了 

jdbc:mysql://localhost:3306/demo?useUnicode=true&characterEncoding=utf-8&useSSL=false&serverTimezone=UTC

Mysql

• 在mysql8.0的时候存储表情更加兼容，5.7的话有点问题。

create database analyze CHARACTER SET utf8mb4 COLLATE utf8mb4_general_ci;

Kafka

 远程访问问题(开启 远程访问)

listeners=PLAINTEXT://0.0.0.0:9092
# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://外网对应的ip总之如果上面配置了0.0.0.0那么这里就必须配置一个因为如果不配置就是listeners的ip，这个作用就是要写到zookeeper如果是0.0.0.0外网不知道是哪个:9092

详解地址

https://www.jb51.net/article/235535.htm

如果这样配置以后，关闭防火墙，关闭selinux，还是不能访问，那么可能就是服务器之间配置了安全组。