大数据外出实训报告9

Posted 2020-12-05 卡卡罗特

1.数据流的分析BufferReader

2.倒排索数据流动分析总结

3.hadoop项目实战-用户行为日志分析

4.使用github上的类库，在本地打包，并放入到maven仓库中

5.java方法实现浏览器统计

6.mapreduce实现浏览器日志统计

7.预习如何搭建hadoop级群（使用3台机器）

8.预习大数据仓库Hive

下面是分析用户浏览器日志的java代码

private static void read()throws IOException{
    BufferedReader bufferedReader=new BufferedReader(new InputStreamReader(new FileInputStream(new File("E:\毕业设计\东软\7-17\大数据第二天作业\日志分析\10000_access.log"))));
    String line="";
    UserAgentParser userAgentParser  = new UserAgentParser();
    Map<String,Integer> map=new HashMap<String,Integer>();

    while(line!=null){
        line=bufferedReader.readLine();
        if(line!=null&&!line.equals("")){
            int index=getCharacterPosition(line,""",7)+1;
            String info=line.substring(index);

            UserAgent agent = userAgentParser.parse(info);
            String browser=agent.getBrowser();
            Integer count=map.get(browser);
            if(count!=null){
                map.put(browser,count+1);
            }else{
                map.put(browser,1);
            }
        }

    }
    //遍历map
    for(Map.Entry<String,Integer> entry:map.entrySet()){
        String browser=entry.getKey();
        Integer value=entry.getValue();
        System.out.println("浏览器为："+browser+"值："+value);
    }
}