MapReduce方法的理解和遇到的问题总结

Posted 2020-12-04 xieshiyu

 

　　昨天联系了一个用map和reduce来编写wordcount当时写出来感觉自己有点懂了，但是今天做到天气站求天气平均数的时候遇到了问题。自己摸索出来了一点歪门邪道。所谓map只管数据中一行，确定要传的key和value。而reduce则是对所有的value值进行计算，而不是只有一行的。在问题中出现类型的错误。通过将Doule换成Int类型解决。

       在对数据进行可视化的时候，tomcat突然就炸了，就连普通的网页就不能跑，后来就开始打不开tomcat。后来发现是maven中导入的tomcat包，和本地引入的tomcat是冲突的，所以发生矛盾，从中除去一个就可以解决，最好修改 tomcat的配置文件。

       在ercharts显示的时候，从后台获取数据之后不能显示出来，检查许久，数据确实是从后台传回来了已经，确保无误。这个问题在于有些echarts可以直接用mychart.setOption执行，而有的要用先写一个option方法，在下面用mychart.setOption(option)来进行实现。     

       还有在将项目部署在虚拟机的tomcat的时候，一定要慎重，用maven部署之后，虚拟机的tomcat原有的root文件内容被覆盖，本机就会出现不能访问虚拟机tomcat的问题。删除虚拟机的root文件，将对应版本号的root文件复制进去即可。

       还有就是MapReduce在计算过程中可能会提示winutils不存在，如果不能跑则配置环境变量，将hadoop.dll winutils libwinutils 拷入system32中，并且把winutils拷入在hadoop的bin目录下即可