第四周作业之wcPro核心模块的实现

Posted 2020-10-30 skatecloud

第四周作业之wcPro核心模块的实现

一、基本任务：代码编写+单元测试

小组github地址

https://github.com/SkateCloud/wcPro

PSP表格

PSP2.1	PSP阶段	预估耗时(分钟)	实际耗时(分钟)
Planning	计划	30	60
Estimate	估计任务需要多少时间	30	60
Development	开发	120	180
Analysis	需求分析	20	30
Design Spec	生成设计文档	20	30
Design Review	设计复审	20	30
Coding Standard	代码规范	30	10
Design	具体设计	30	50
Coding	具体编码	30	40
Code Review	代码复审	30	40
Test	测试	50	10
Reporting	报告	70	240
Test Report	测试报告	30	100
Size Measurement	计算工作量	20	60
Postmortem	总结	20	80
	合计	280	480

接口设计

• 接口描述

本人负责的是核心模块,即对输入的文件读取后的结果进行单词排序并存入List结构中准备输出

• 设计思路

对从输入模块获取的数据存入hashMap中,再将Map结构转变成List结构进行单词排序,为输出模块准备接口

• 实现过程

先使用Map<String, Integer>结构对输入模块传来的数据进行存储.

 HashMap<String,Integer> words = new HashMap<>();
        String str = readFile(args[0]);
        {
            int state = 0;
            int beginIndex = -1;
            for (int i = 0; i <= str.length(); ++i) {
                char ch = i == str.length() ? ‘ ‘ : str.charAt(i);
                boolean isWordChar = (‘a‘ <= ch && ch <= ‘z‘) || (‘A‘ <= ch && ch <= ‘Z‘) || ch == ‘-‘;
                if (state == 0 && isWordChar && ch != ‘-‘) {
                    beginIndex = i;
                    state = 1;
                } else if (state == 1 && !isWordChar) {
                    String word = str.substring(beginIndex, i).toLowerCase();
                    words.put(word, words.getOrDefault(word, 0) + 1);
                    state = 0;
                }
            }
        }

由于外部存储机构使用的是Map.Entry<String, Integer>,不便于排序等操作,所以将map转化为List结构,进行排序

 List<Map.Entry<String, Integer>> list = new ArrayList<>();
        list.addAll(words.entrySet());
        list.sort((lhs, rhs) -> {
            int cmp = -lhs.getValue().compareTo(rhs.getValue());
            if (cmp != 0) return cmp;
            else return lhs.getKey().compareTo(rhs.getKey());
        });

测试设计

保证设计的测试用例应至少覆盖函数中所有的可执行语句，同时主要空数组、最差情况、词频排序、字母排序、两者混合等各种情况设计测试用例。

单元测试

使用测试脚本进行单元测试,过程如下

单元测试效果良好,没有报错

小组贡献

我们小组齐心协力, 攻克难关,积极讨论,指出问题,我认为我的小组贡献分是0.4

二.扩展任务：静态测试

1. 代码规范

我选择了代码风格规范中：断行与空白的{}行、分行、命名、下划线、大小写；

代码设计规范中：函数、错误处理、new和delete、类型继承,模块化

我的编程习惯与以上附录中所述规范大致相同。而在其他如代码审查等重要规范上有待提高。

2. 同组分析

我分析了自己的代码,缩进、断行风格整洁，命名简单明了，逻辑清晰易读，但在代码设计规范上,模块化不足,不易于进行团队的coding工作,经常在git操作上发生冲突.

最后决定将团队代码进行整合重构,重构任务由我完成,故最终贴出组长的重构代码

public class wordcount {
    public static void main(String[] args) {
        long t1 = System.currentTimeMillis();
        new wordcount().start(args);
        long t2 = System.currentTimeMillis();
        long dt = t2 - t1;
        System.out.println(("Elapsed " + dt + "ms"));
    }

    private void start(String[] args) {
        HashMap<String,Integer> words = new HashMap<>();
        String str = readFile(args[0]);
        {
            int state = 0;
            int beginIndex = -1;
            for (int i = 0; i <= str.length(); ++i) {
                char ch = i == str.length() ? ‘ ‘ : str.charAt(i);
                boolean isWordChar = (‘a‘ <= ch && ch <= ‘z‘) || (‘A‘ <= ch && ch <= ‘Z‘) || ch == ‘-‘;
                if (state == 0 && isWordChar && ch != ‘-‘) {
                    beginIndex = i;
                    state = 1;
                } else if (state == 1 && !isWordChar) {
                    String word = str.substring(beginIndex, i).toLowerCase();
                    words.put(word, words.getOrDefault(word, 0) + 1);
                    state = 0;
                }
            }
        }

        List<Map.Entry<String, Integer>> list = new ArrayList<>();
        list.addAll(words.entrySet());
        list.sort((lhs, rhs) -> {
            int cmp = -lhs.getValue().compareTo(rhs.getValue());
            if (cmp != 0) return cmp;
            else return lhs.getKey().compareTo(rhs.getKey());
        });

        try (FileWriter fout = new FileWriter("result.txt")) {
            int maxsz = Math.min(list.size(), 100);
            for (int i = 0 ; i < maxsz; ++ i) {
                Map.Entry<String, Integer> item = list.get(i);
                fout.write(item.getKey());
                fout.write(‘ ‘);
                fout.write(item.getValue().toString());
                if (i != maxsz - 1)
                    fout.write(‘\n‘);
            }
        } catch (IOException ex) {
            throw new RuntimeException(ex);
        }
    }

    private String readFile(String path) { // 读文件
        try {
            byte[] encoded = Files.readAllBytes(Paths.get(path));
            return new String(encoded, "UTF-8");
        } catch (IOException ex) {
            throw new RuntimeException(ex);
        }
    }

}

3. 静态代码检查工具

使用的是IDEA的插件Ant Build中的检错功能
Ant Build是一个Java自动化生成工具，其检错功能用来检查类或者jar文件，用来发现可能的问题。检测完成之后会生成一份详细的报告，借助这份报告可以找到潜在的bug.

检测范围

• 常见代码错误，序列化错误
• 可能导致错误的代码，如空指针引用
• 国际化相关问题：如错误的字符串转换
• 可能受到的恶意攻击，如访问权限修饰符的定义等
• 多线程的正确性：如多线程编程时常见的同步，线程调度问题。
• 运行时性能问题：如由变量定义，方法调用导致的代码低效问题

4. 扫描结果

检测结果在右上角,可以看出仅有少量警告,根据IDEA红线标注可发现大多是声明方式不是按照目前使用的java标准,没有发生内存泄露等问题.

5. 小组代码问题说明

• 由于进行了整合重构,所以模块化程度降低,不易维护,但程序执行效率上升
• 异常处理的不够全面,应该覆盖大部分的一场情况,以便于检查与调试

三. 高级任务：性能测试和优化

设计，评审，优化

选择10kb，50kb，182kb大小的txt文件进行测试，程序处理时长如下：

　　　　　　输入输出：1ms,1ms,2ms

　　　　　　单词统计：20ms,150ms,540ms

　　　　　　词频排序：6ms,8ms,10ms

　　单词统计时间与文件大小呈线性相关，其他两个模块占比较小，故程序性能主要受到文件大小影响。组内共同对代码结构和细节进行详细审查并与其他组程序对比，整理得到如下观点：

　　　　1.整合重构是正确的,不仅增加了代码的可读性和规范性,还大幅增加了程序的性能

　　　　2.将大部分功能模块聚集在一个类方法中,虽然会导致代码耦合度增高,不易于团队维护和再开发,但是减少了模块间相互调用的开销和随之产生的内存开销

小结

通过基本任务、扩展任务、到高级任务的完成以及中间遇到的许多困难，体现出了软件测试对于软件开发的重要性。在开发过程中，使用静态测试工具实时地检测自己的代码，可以改正自己不良的编程习惯，更能防患于未然，减少出现bug的可能；对自己的模块进行单元测试，可以保障自己代码的正确性，更是对其他开发成员和整个任务的负责，使软件开发能够一步一个脚印地稳定开展；对性能的分析与测试，能使软件的质量进一步提高，同事能总结开发经验，使自己设计的模块更加高效。