今天的事和明天的事

Posted 2020-10-01

下午开会遇到的几个不懂的名词：

1、HAWQ（读音 耗客）

是Greenplum的hadoop版本，因为Greenplum底层数据是存放在操作系统文件中，而Hawq的底层文件存放在HDFS中。

2、服务器上的虚拟机

这个概念很久就听过了。但是不知道，物理服务器到底怎么做成虚拟机的，是用了什么软件。物理服务器一般肯定会安装Linux操作系统，如果做虚拟机肯定是在Linux之上安装了其他的虚拟化软件，才能把一个物理服务器虚拟成好多个虚拟服务器。

3、一体机

这个也听过很多次了，但是我不知道什么是一体机，也没有亲眼见过，所以也记录一下。

 

今天做的事情：

1、读logstash英文文档。没读多少。

2、读elasticsearch英文文档。get started部分读了一些，学会了：

安装

启动

杀死

建立index

存document到index

查看集群是否健康

查看集群节点数目

查看index数目

3、开了半下午会。

了解了上海交行日志采集的整体架构，和这个架构中我需要做的事情。

我需要做

（1）logstash从kafka同时读数据到es和hdfs的性能、吞吐量的测试数据。

（2）logstash前置和后置配置文件生成的系统。杨哥建议 用springboot做rest api，用rest api和前端交互。（最高优先级）

（3）87、88、89、91是和上海交行的环境一样的，所以在这里进行开发。要会搭建集群。

 

4、晚上大概学习了idea的基本用法。

 

明天要解决的事情：

1、要解决logstash从kafka的consumer读取数据，之后在把数据写入es，这个要跑通。

2、看看springboot和rest api。