第4周小组作业：WordCount优化

Posted 2020-10-29 GAnaSoicv

第4周小组作业：WordCount优化

一、基本任务：代码编写+单元测试

小组github 地址 

https://github.com/iwannastay/WcPro/tree/stage3/stage3 

---

 

PSP表格

PSP2.1	PSP阶段	预估耗时(分钟)	实际耗时(分钟)
Planning	计划	30	60
Estimate	估计任务需要多少时间	30	60
Development	开发	180	240
Analysis	需求分析	20	30
Design Spec	生成设计文档	20	30
Design Review	设计复审	20	30
Coding Standard	代码规范	30	10
Design	具体设计	30	50
Coding	具体编码	30	40
Code Review	代码复审	30	40
Test	测试	50	10
Reporting	报告	70	240
Test Report	测试报告	30	100
Size Measurement	计算工作量	20	60
Postmortem	总结	20	80
	合计	340	540

---

接口设计

• 接口描述

　　　　我负责的模块是单词排序，即由外部传入各单词词频，模块将其排序并输出。

• 设计思路

　　　　由于是数目未知的数值元素，故可以将输入输出接口定义为vector<int>数组；数组的排序可以选择多种算法如插入排序、合并排序、基数排序、桶排序、快速排序等，由于处理的文本可能极大，对算法性能要求较高，故此选择随机快排实现该接口；然而本程序包含额外的条件——1.单词词频同步输出，2.同频的单词按照字母顺序排列，故不能仅用单词的词频作为接口，而需将单词本身的索引输入，由于外部数据结构未知，故直接引用单词本身作为参数，即使用vector<pair<string,int>>作为模块外部接口。

• 实现过程

　　　　由于外部存储结构使用map<pair<string,int>>，且map的实现机制是红黑树的平衡二叉树，不支持索引操作，为了便于排序，需进行map->vector的转换。

//词频排序
void WcFile::RankProcess()
{
    int count = 0, size = Word_List.size();
    map<string, int>::iterator iter = Word_List.begin();
    while (iter != Word_List.end())
    {
        Rank_List.push_back(*iter);
        iter++;
    }
    //随机快排
    Random_Quick_Sort(Rank_List, 0, Rank_List.size() - 1);
}

 

　　　　排序算法实现

 

//快速排序分划程序
int WcFile::Partition(vector<pair<string, int>> &A, int p, int q)
{
    auto x = A[p];
    int i = p;
    for (int j = p + 1; j <= q; j++)
    {
        if (ComparePriority(A[j],x))
        {
            i = i + 1;
            Swap(A[i], A[j]);
        }
    }
    Swap(A[p], A[i]);
    return i;
}

//随机化快速排序分划程序
int WcFile::Random_Partition(vector<pair<string, int>> &A, int p, int q)
{
    int i = rand() % (q - p) + p;
    Swap(A[i], A[p]);
    return Partition(A, p, q);
}

//随机化快速排序
void WcFile::Random_Quick_Sort(vector<pair<string, int>> &A, int p, int q)
{
    if (p < q)
    {
        int i = Random_Partition(A, p, q);
        Random_Quick_Sort(A, p, i - 1);
        Random_Quick_Sort(A, i + 1, q);
    }
}

//交换元素
void WcFile::Swap(pair<string, int> &m, pair<string, int> &n)
{
    pair<string, int> tmp;
    tmp = m;
    m = n;
    n = tmp;
}

//首字母排序
bool WcFile::ComparePriority(pair<string, int> &m, pair<string, int> &n)
{
    if (m.second != n.second)
        return m.second > n.second ? true : false;
    else
        return m.first < n.first ? true : false;
}

 

---

测试设计

　　保证设计的测试用例应至少覆盖函数中所有的可执行语句，同时主要空数组、最差情况、词频排序、字母排序、两者混合等各种情况设计测试用例。

 

---

单元测试

试用测试脚本进行单元测试，过程如下：

单元测试效果较好，测试结果均正确，且排序性能较高。

---

 

小组贡献

　　我们小组齐心协力，共克难关，积极讨论并指出其他组员的问题，最终得出我的小组贡献分为0.3。

 

二、扩展任务：静态测试

1.代码规范

　　我选择了代码风格规范中：断行与空白的{}行、分行、命名、下划线、大小写；

　　　　　　代码设计规范中：函数、gogo、错误处理、断言（在其他大型程序中常用，在本次作业中未使用）、析构函数、new和delete、类型继承。

　　我的编程习惯与以上附录中所述规范大致相同，少许部分持不同意见。而在其他如代码审查等重要规范上有待提高。

---

 

2.同组分析

　　我分析了组员17027的代码，缩进、断行风格整洁，命名简单明了，逻辑清晰易读，较好地遵守了设计规范。

//导入文件
bool WcFile::LoadFile(const char *_filename)
{
    File_Name = _filename;
    File_Stream.open(File_Name);
    if (!File_Stream)
    {
        cout << "Fail to open the source file:" << File_Name << endl;
        system("exit");
    }
    return true;
}

//保存结果
void WcFile::SaveResult()
{
    File_Stream.close();
    File_Stream.open(ResultFile_Name);
    if (!File_Stream)
    {
        cout << "Fail to open the result file." << endl;
        system("exit");
    }

    for (int i = 0; i < 100 && i < Rank_List.size(); i++)
        File_Stream << Rank_List[i].first << "\\t" << Rank_List[i].second << endl;
    File_Stream.close();
}

 

---

3.静态代码检查工具

　　使用Visual Studio 2015 内置检测工具，可在微软官方网站https://www.visualstudio.com/zh-hans/downloads/下载

---

 

4.扫描结果

以上问题说明代码存在数据丢失以及内存泄漏等问题，应尽量少使用格式自动转换。

---

5.小组代码问题说明

• 数据结构较为冗杂，降低了程序性能，应减少不必要的类的使用；
• 异常处理不够全面，应该覆盖大部分的异常情况，以便于检查。

 

 

三、高级任务：性能测试和优化　

　　设计，评审，优化

　　选择10kb，20kb，50kb大小的txt文件进行测试，程序处理时长如下：

　　　　　　输入输出：13ms,14ms,16ms

　　　　　　单词统计：740ms,1500ms,3800ms

　　　　　　词频排序：11ms,12ms,22ms

　　单词统计时间与文件大小呈线性相关，其他两个模块占比较小，故程序性能主要受到文件大小影响。组内共同对代码结构和细节进行详细审查，整理得到优化思路如下：

　　　　1.将统计部分中的大小写转换提取成单个模块，能大幅度减少转换函数的调用次数，随着文件越大效果越明显；

　　　　2.增加单次提取字符数量，减少主框架循环次数；

　　　　3.将字母排序单独提取成一个模块，即将排序算法中的比较函数替换为纯数值比较，减少内存开销，减少排序时间，最后再遍历数组重新调整同频单词顺序，此方法在数组较大时能够提高程序效率。

---

 

　　附加题

　　　使用MFC开发环境，设计具有图形界面的文件选择工具。

 

---

　　小结

　　通过基本任务、扩展任务、到高级任务的完成以及中间遇到的许多困难，体现出了软件测试对于软件开发的重要性。在开发过程中，使用静态测试工具实时地检测自己的代码，可以改正自己不良的编程习惯，更能防患于未然，减少出现bug的可能；对自己的模块进行单元测试，可以保障自己代码的正确性，更是对其他开发成员和整个任务的负责，使软件开发能够一步一个脚印地稳定开展；对性能的分析与测试，能使软件的质量进一步提高，同事能总结开发经验，使自己设计的模块更加高效。