toSummary

Posted 2020-10-09 Helenbj

 

virtualbox as git client, pswd 123321:

git server:

adduser pswd online:

copy .pub to machine 192.168.101.72 used to be git server:

192.168.101.72:

add user git to sudo list, for have priority to create directory:

 

 create bare git repository:

 

 

无法上外网，修改/etc/resolv.conf

 

 删除dns，重启服务

cannot find static files

 

服务器上无法保存拓扑：

查看apache日志是权限不够创建目录：

由于.gitignore忽略该目录，需手动创建，类似于需要执行python manage.py collectstatic 创建静态目录一样：

创建目录：

依然无法保存，虚拟机上也是此权限但是可以保存：

除非不适用apache不是用ubuntu用户执行的：

添加其他用户的写权限：

保存成功了：

创建了两个文件：

不按ip分布保存，又多了一个文件，经过测试没存一次多一个json文件

pip安装模块报ConnectTimeoutError错误

 /etc/apache2/sites-available/000-default.conf

修改importdb目录添加o+w权限，则能够正常下载

之后报错：

原因是数据库无法查出东西来：

连接数太多卡住了：

for i in $(mysql -uroot -p123456 -Bse "show processlist" | awk \'{print $1}\');do mysql -uroot -p123456 -e "kill $i";done

关闭连接后用root查询链接列表

关闭连接之后可以正常查询：

 ok，部署成功。

140.31上安装ntp，系统17.04，直接sudo apt install ntp不成功，更换/etc/apt/sources.list

 执行sudo apt update更新软件源列表，之后重新install ntp成功

 配置：

ok，时间校准成功：

查看event是否开启 : SHOW VARIABLES LIKE \'%event_sche%\';

将事件计划开启 : SET GLOBAL event_scheduler = 1;

将事件计划关闭 : SET GLOBAL event_scheduler = 0;

定时汇聚数据成功：

解决中文乱码问题：

alter table terminalInfo CONVERT TO CHARACTER SET utf8;

#deviceinfo
insert into HostMonitorDataOp.terminalInfo(uniqueId,ip,time,action,description)
select
HostMonitorData.view_deviceinfo.uniqueId,
HostMonitorData.view_deviceinfo.ip,
HostMonitorData.view_deviceinfo.time,
\'deviceinfo\',
JSON_OBJECT(
"description",
GROUP_CONCAT(
CONCAT("{deviceName:\'",HostMonitorData.view_deviceinfo.deviceName),"\'}")
)
from (HostMonitorData.view_deviceinfo JOIN HostMonitorData.view_lastest_baseinfo)
where HostMonitorData.view_deviceinfo.uniqueId = HostMonitorData.view_lastest_baseinfo.uniqueId
and UNIX_TIMESTAMP(HostMonitorData.view_deviceinfo.time) > UNIX_TIMESTAMP(DATE_ADD(NOW(),INTERVAL -7 MINUTE)) #定时为当前时间前3分钟的操作行为
group by HostMonitorData.view_deviceinfo.uniqueId,HostMonitorData.view_deviceinfo.time,HostMonitorData.view_deviceinfo.deviceName

2017 10.9

 

1. 监控部署

如果通过vnc登陆物理机140.11连终端都没有，说明全部最小化了，无法恢复，用xshell登陆，重启v

killh后有空格

 

字母\'x\'

启动terminal analyzer服务

再次用vnc登陆就可以看到终端了,执行“sudo virt-manager”启动vnc管理界面，可以看到该物理机上所有的虚拟机

通过vnc登陆192.168.140.11，启动相应虚拟机，其中TerminalAnalyzerVM*用来收集终端的监控信息，每台终端主机有相应字段配置TA；Sink是存储本场景下所有终端监控的数据库，可运行的一共四个场景，Sink的ip为192.168.140.31~34，TA将监控信息定期写入Sink，记录的time字段是TA的时间戳，所以TA最好用ntp做时间校准；Fanalyser用来收集本场景下的流量监测数据，并把数据写入流量数据库192.168.140.21~24：

在TA虚拟机上，后台执行DataServer-inuse.jar，启动终端监控程序：

配置终端产生数据，从部署下去的拓扑图可以看出物理机192.168.110.178上虚拟机DocTriggerOffice2003连接的是TA1123：

将测试用例部署到DocTriggerOffice2003上，用管理员权限运行：

virt-copy-in -d DocTriggerOffice2003 /copyFileAndWriteReg.exe /

virt-copy-in -d DocTriggerOffice2003 /MyDriver.sys /

手动修改配置文件，配置本机的TA1123 ip：

 

 用管理员权限执行测试用例：

 

由于Sink重启，需要重新设置MySQL：

select @@GLOBAL.sql_mode;

set @@GLOBAL.sql_mode=\'\';

set sql_mode =\'STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION\';

show variables like \'%sche%\';

set global event_scheduler =1;

 

重新设置周期event。到此为止，终端和流量监控就成功部署。

 

 

2. 代码调试

Q1 前端很长时间看不到有效数据

Reason： 将101.100上的元数据库清了重新download9.30 15：0：0的数据，前几次加载网页后能看到terminal的新数据刷新，之后几乎没有terminal数据。原因是在terminal import函数中，没有正常import table，出错在StorageClusterMetaDB.objects.get(storetimestamp=set0Datetime.strftime("%Y-%m-%d %H:%M:%S"),monitorip=ip, datatype=type)，由于没有停止celery，其在下一个约定时间向元数据库存储token，根据timestamp/ip/type查找元数据库时得到两个token，异常退出，删掉一个token即可

Q2 前端在终端监控部分报错 ip of undefined

Reason：在views.py中能输出users的内容，已解决，原因待究

Q3 前端在流量监控部分报错length of undefined

Reason： views.py返回空的users，因为download下来的netflow*.sql中没有记录，有记录的正常且不会报错，说明DataFilter函数没错

 

截止到目前为止，能够正常显示流量和终端监控数据，但是流量没有alerttype=1和alerttype=2的数据，且没有src和dest都正确的流动记录。