毕设开发日志2017-10-27

Posted 张晓晨的技术博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了毕设开发日志2017-10-27相关的知识,希望对你有一定的参考价值。

【工作内容】

1.先说说25,26,以及今天上午的工作进度

  最近三天的工作节奏基本上是一样的,24h不间断上传数据,基本上到现传了40%,然后另外借了一台电脑开发前端界面。

2.反思

  由于硬件配置有限,上传数据的时候cpu基本在90%的占用率上跑,这样的话就做不了别的事情,借了台别的电脑也只能是开发前端页面,因为别人电脑上没有配置虚拟机以及hadoop生态,所以就很尴尬。有人建议先传一部分数据先做,但是可能自己有点执拗吧,非得想着把数据传完在做,觉得这样自己调试着也方便。这样的话分析模型那一块的进度算是被耽误的比较严重,这一点也怪我之前没考虑到位。之前用了一个小文件测试了一下,感觉传的挺快,没想到数据量大了速度会降这么多,而且数据格式不统一,前期做数据标准化以及自己的容错机制也花了点时间。

3.总结

  总之现在进度落下的挺多的,尽量在两周内补齐吧。

【生活感悟】

  由于每个数据文件大约有100W条数据,传完大概需要2.5h,机器跑完一份文件需要手动更改文件参数,跑下一个,(电脑内存有限,无法使用脚本循环更换文件,之前试过了),为了充分利用时间连续熬了两个通宵,但是第三晚实在熬不住了,回宿舍睡到第二天十点左右,反而影响了进度,自己的身体也有点吃不消。其实还是在自己能承受的范围内做工作调度,太过分反而会影响效率。

  

以上是关于毕设开发日志2017-10-27的主要内容,如果未能解决你的问题,请参考以下文章

毕设开发日志2017-12-28 完成!

毕设开发日志2017-10-29----问题的解决

毕设开发日志2017-11-30

毕设开发日志2017-11-28

3dContactPointAnnotationTool开发日志

毕设日志