毕设开发日志2017-10-29

Posted 2020-10-12 张晓晨的技术博客

【工作内容】

　　27日进度检查之后依然按照原计划，一边上传数据，一边开发前端页面。但是28日上午十一点左右出现了问题。于是开始着手解决问题，直到现在（2017-10-29 12:36）。

【解决过程】

　　1.问题描述：在数据上传到2016-04.csv中第438605条数据（即2016-04-13 00:00:00,青岛,四方区子站）时报错，截图如下

然后在服务器中查看jps，提示Java HotSpot(TM) 64-Bit Server VM warning: Insufficient space for shared memory file

然后输入 df -h  查看磁盘，发现有个主分区满了，确定是磁盘满的问题。

　　2.解决过程

　　1)首先想到的是磁盘扩容，在VMware的设置界面为虚拟机扩展40G的存储空间，然后发现这些空间并没有被服务器使用到，于是准备参照这篇博客进行gparted工具安装来进行扩容，然后发现yum无法安装gparted。然后尝试更新了yum，或是直接下载安装镜像均无法安装。

　　2)然后参考第二篇博客，尝试lvm方式扩充主分区。但是在新建分区之后发现lvm的pv变量中找不到原有分区，原因是原有分区已经使用了，除非格式化之后再新建pv，但这样数据就都没了，所以这条路也断了。

　　3）最后参照第三篇以及第四篇博客，把新建分区挂载在目录下面。成功之后磁盘信息如下

然后启动hadoop成功，启动hbase成功。但是进入hbase的shell时失败，提示server is not running yet。查看日志发现提示

Space available on volume \'/dev/sda3\' is 60616704, which is below the configured reserved amount 104857600

 hbase没有识别新加进来的sda4分区。

【疑惑之处】

　　昨天到最后已经凌晨两点了，自信心和意志力都严重不足，今天中午决定先写日志，仍有愤愤不平之意。我觉得做大数据，一定会遇到磁盘空间不足的情况，加一块硬盘，加一个从节点服务器都是很正常的情况，为啥我的就不行呢？虽然我的是伪分布式，可是我加一个分区道理是一样的啊。

【暂行解决方案】

　　1.对现有虚拟机做备份。记录问题留待以后解决。

　　2.新建虚拟机，先做好lvm配置，做一个磁盘扩容的实验，实验成功之后再配置hadoop以及hbase。

　　3.后续计划就是先传三个月的数据，先只用这三个月的数据来做后端，然后空闲时间包括晚上睡觉的时候传数据。

【生活感悟】

　　1.心情很低落，但是写完这篇日志的时候已经恢复了，没关系，程序员就是这样不断的试错，不断的成长，抗压能力蹭蹭的长。然后这个过程自己也学到了很多，毕竟之前对Linux啥也不懂，这一套下来对Linux分区有了更加直观了理解。

　　2.最近真的是比较辛苦，基本都是12点回宿舍，甚至在毕设室通宵了两次，但是没想到自己的进度还是落下了，虽然不服气吧，但是努力的跑吧，给自己加加油。

　　3.关于找工作的事情想说一句。看着别人签了工作自己当然也眼红，但是发现每次去面试，跑招聘会，不仅浪费了大量的时间和精力，而且还特别打乱自己的节奏，而且现在自己的理论方面不算很强，有时候自己在编程的时候理解，但是自己往出说又说不出来，所以面试效果差，也影响了自己的心情。觉得还是先安安心心做毕设吧，忙完毕设把java理论上的东西再巩固一下再去面试。

　　4.距离软考也只剩一周左右的时间了，距离六级考试也只有不足一个月的时间了，是时候抓紧时间准备一下了。这一周准备把软考刷题作为工作重心。