毕设开发日志2017-11-28

Posted 张晓晨的技术博客

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了毕设开发日志2017-11-28相关的知识,希望对你有一定的参考价值。

【前言】

  每周汇报时间调整到了每周二,所以这次应该总结一下最近十天的工作内容。最近一直都在忙于预测模型算法等后端,前台界面还是上周的状态。但是有了本周的工作成果之后前台很多界面都可以做了。

【工作的内容】

1.数据爬虫部分。

  为了增加数据丰富度,以便提高预测模型的准确度,需要做一个数据爬虫,来获取一些天气方面的数据(温度,湿度,风况等)。所以先做了一个爬虫A, 监控A网站。可以提供返回指定城市的天气预报(实时,明天,未来24逐小时预报,七天)的方法,其中实时天气中还包括AQI等空气质量的数据。另外还提供返回之前24小时的逐小时历史天气。但是在上周三的时候突然A网站连不上了。然后又更换目标网站,做了爬虫B来监控网站B,支持输出指定城市的天气预报(实时天气,实时空气,城市信息,生活指数,10天) ,支持输出指定城市的LR格式数据(实时数据),同样也支持输出之前24小时的逐小时历史天气。但是实时数据中天气和空气是两个不同的方法提供的(因为URL不一样)。B爬虫完成之后发现网站A恢复正常,但是A爬虫经常报服务器508错误,该错误应该是网站服务端设置的爬虫陷阱,暂时无力解决,决定还是使用爬虫B。

2.线性回归预测算法(LR)

  查了很多资料,也看了很多别人写的算法,经历了很多错误之后完成了一个算法模型,为了保持项目MVC层次的合理性,我把算法模型做成了一个工具类放在在util层,然后在service层中做了一个预测服务类,对该模型进行了调用。主要过程就是数据训练集的填充---->进行梯度下降法计算---->输出模型系数。

3.空气质量预测

  在hbase数据,数据爬虫,线性回归算法的支持下,空气质量预测服务可以返回指定城市的空气质量预测数据(明天),可以返回所有城市的预测数据,可以返回预测数据的省平均数据,这样就可以支持前台的全国空气质量预测地图了。

4.对Dao层的完善。

  为了更加方便的获取hbase数据,写了多个过滤器,支持返回指定省份的城市集合,支持返回某城市某个月的空气数据集,支持返回某个月所有的信息,等等。

5.工具类。

  a.为了使得爬虫爬出来的数据有一个统一的格式来方便前台使用,写了一个json工具,可以将爬虫爬出来的List<String>格式数据转成json格式,这样就不用为每种数据集合都写一个TO类了。

  b.为了能更加方便的获取某一天的日期信息,做了一个基于JDK原生Calendar类的date工具类。可以获取过去或者未来 任意天内的日期数组,获取获取过去或者未来第几天的日期,获取上个月现在的日期等。

6.其他

  由于项目中使用了很多文件,考虑到项目开发完成之后要部署到Linux环境中,有一个路径变化的问题,所以总需要设置类的加载路径来找文件。但是处处设置这个就比较烦,于是在Contacts类里设置了一个缓存目录,然后其他路径都调用该路径来做相对路径,然后再做一个conf.properties文件,在网站部署时读取该文件,让这个配置文件中设置的缓存路径的值去覆盖Contacts类中设置的路径值,这样就能很方便的实现项目迁移,而且开发过程中也不需要去总考虑路径问题了。

【遇到的问题以及解决方案】

1.爬虫失效

  这算是本周遇到的最大的问题了,当时心态都不好了。但是缓了缓心情还是又另做了一套爬虫。

2.性能问题

  完成了所有准备工作之后准备做预测,一个城市的空气预测需要经过这样几个过程:获取hbase里的历史空气数据,获取爬虫怕的历史天气数据,整合之后输出到文件里,然后利用该文件做训练集,训练出预测模型,再爬取预测天气等变量,由预测模型计算出预测的空气质量。爬虫方面过来的数据很慢,而且会报经常url错误(爬虫陷阱)。于是决定只拿时间和空气质量粒子数据来做模型变量,这样就只从数据库里查历史数据,整合训练集,得到模型,算预测值。这次我记录了一下时间,一个城市需要12秒左右。我觉得这个速度太慢,优化了之后也9秒。因为还有一个功能需要算全国所有城市的预测值,求省均值,这个速度根本无法支持。于是决定做一个生成预测模型的方法,然后以后一个月之内就不更新模型了,直接拿这些模型来算,于是保存了每个城市对应的预测模型。以后可以每个月只更新一次模型,刚好训练集也是该城市一个月的数据量(一个城市一个月的数据量=监测站数(平均5个)*24h*30day),然后这个方法运行了一个小时零2分钟。然后再算某城市的预测值时大概用了2秒。差不多了。

3.文件路径(java.io报错:找不到指定的系统目录或文件路径)

  做测试的时候能找着,但是发布到tomcat里就找不着了; 这是因为普通类对文件的读取和javaWeb对文件的路径读取是不一样的,javaWeb文件的根目录变成了项目的根目录,所以文件路径就变了,这篇博客里写的比较清楚。解决过程就是上面说的第6条。

【后续计划】

1.空气质量模块的页面部分。

  本周的工作成果能支持很多页面的数据了,所以下一步可以进行空气质量模块的页面部分,该部分需要用char.js,需要图标渲染等等。

2.MS系统

  完成以上工作就赶紧做ms系统

以上是关于毕设开发日志2017-11-28的主要内容,如果未能解决你的问题,请参考以下文章

毕设开发日志2017-12-28 完成!

毕设开发日志2017-10-29----问题的解决

毕设开发日志2017-11-30

毕设开发日志2017-10-27

3dContactPointAnnotationTool开发日志

毕设日志