毕设开发日志2017-10-27

Posted 2020-10-12 张晓晨的技术博客

【工作内容】

1.先说说25,26，以及今天上午的工作进度

　　最近三天的工作节奏基本上是一样的，24h不间断上传数据，基本上到现传了40%，然后另外借了一台电脑开发前端界面。

2.反思

　　由于硬件配置有限，上传数据的时候cpu基本在90%的占用率上跑，这样的话就做不了别的事情，借了台别的电脑也只能是开发前端页面，因为别人电脑上没有配置虚拟机以及hadoop生态，所以就很尴尬。有人建议先传一部分数据先做，但是可能自己有点执拗吧，非得想着把数据传完在做，觉得这样自己调试着也方便。这样的话分析模型那一块的进度算是被耽误的比较严重，这一点也怪我之前没考虑到位。之前用了一个小文件测试了一下，感觉传的挺快，没想到数据量大了速度会降这么多，而且数据格式不统一，前期做数据标准化以及自己的容错机制也花了点时间。

3.总结

　　总之现在进度落下的挺多的，尽量在两周内补齐吧。

【生活感悟】

　　由于每个数据文件大约有100W条数据，传完大概需要2.5h，机器跑完一份文件需要手动更改文件参数，跑下一个，（电脑内存有限，无法使用脚本循环更换文件，之前试过了），为了充分利用时间连续熬了两个通宵，但是第三晚实在熬不住了，回宿舍睡到第二天十点左右，反而影响了进度，自己的身体也有点吃不消。其实还是在自己能承受的范围内做工作调度，太过分反而会影响效率。