结对第二次—文献摘要热词统计及进阶需求

Posted 2021-02-13 linziming

格式描述

• 课程：软件工程1916|W（福州大学）

• 要求：链接

• 结对学号：221600124&221600127

• 目标：学习如何使用Github和爬虫工具，体验结对编程

• Github项目：
  爬虫部分Python代码置于PairProject2的cvpr目录下
  • PairProject1-C
  • PairProject2-C

• 代码签入记录：
  PairProject1

PairProject2

• 分工：
  • 221600124：编写爬虫部分代码、测试代码并调试
  • 221600127：编写WordCount基础需求及进阶需求代码

PSP表格

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	30	42
? Estimate	? 估计这个任务需要多少时间	30	42
Development	开发	700	1085
? Analysis	? 需求分析（包括学习新技术）	120	150
? Design Spec	? 生成设计文档	50	50
? Coding Review	? 设计复审	20	15
? Coding Standard	代码规范 (为目前的开发制定合适的规范)	30	30
? Design	? 具体设计	120	60
? Coding	? 具体编码	240	600
? Code Review	? 代码复审	60	60
? Test	? 测试（自我测试，修改代码，提交修改）	60	120
Reporting	报告	55	100
? Test Report	? 测试报告	20	30
? Size Measurement	? 计算工作量	10	10
? Postmortem & Process Improvement Plan	? 事后总结, 并提出过程改进计划	25	60
	合计	785	1227

解题思路

在刚开始拿到题目后，我们小组决定使用C++实现。

• 基本功能方面，使用最基础的思路，从文件中逐渐读入字符，并且根据题目的字面要求来进行判断和统计。之后根据要求将统计字符数、统计单词数、统计最多的10个单词及其词频这三个基本功能独立出来分别写成三个函数。
• 进阶需求方面，使用python从CVPR2018官网爬取今年的论文列表。对于参数的使用，根据argc及argv来获取对应参数的数值。

设计实现过程

代码拥有countChar,countWord,countLine,countFre这四个函数，这四个函数之间是相互独立的。单元测试则是将各个函数的功能分别进行白盒测试，每个函数的功能经过10组数据的测试。
算法的关键在于对读取的字符进行判断。流程图如下：

改进程序性能

我们小组在改进程序性能上所花费的时间大约为60分钟，因此我们只是想出了改进的思路，而具体的实现可能还略有欠缺。

• 在原本的代码中是用两个数组来统计单词及其频率，之后经过查阅相关资料，我们发现可以使用C++STL中的map容器来储存该数据。并且由于map内部的数据都是自动排序的，这可以节省排序所需的时间。
• 代码存在冗余，由于在编写代码的初期只是考虑如何去实现需求的功能，而没有考虑到性能，导致其中有些代码写的比较随意，可能存在代码的重复或者无用的代码

性能分析图如下：

消耗最大的函数：countFre,即统计单词词频的函数

代码说明

选取countFre作为关键代码，以下为代码：

int countFre(FILE *file) {
    fseek(file, 0, SEEK_SET);
    char c;
    string temp="";//temp变量用于保存读入的字符
    int alacnt = 0;//alacnt变量用于统计当前temp字符串已有字符数
    int w_cnt = 0;//w_cnt变量用于统计不重复的单词的数目
    while (fscanf_s(file, "%c", &c, sizeof(char)) != EOF) {
        if (c < 0 || c>255) continue;//非ascii码跳过统计
        if (isalpha(c) || isdigit(c) && alacnt >= 4) {//如果字符c为字母或者字符c为数字并且temp字符串已有4个或以上字母，则将字符c加入字符串
            temp += c;
            alacnt++;
        }
        if (alacnt < 4 && !isalpha(c)) {//如果字符c不为字母并且temp字符串已有字符数小于4，则清空字符串
            temp = "";
            alacnt = 0;
        }
        if (alacnt >= 4 && !(isalpha(c) || isdigit(c))) {//如果字符c不为字母或者数字并且temp字符串已有字符数大于4，即为分隔符的情况下
            bool found = false;//found用于表示该单词是否曾出现过
            for (int i = 0; i < (int)temp.length(); i++)//将该单词转换为全小写
                temp[i] = tolower(temp[i]);
            for (int i = 0; i < w_cnt; i++) {//查找该单词是否已存在
                if (temp == word[i]) {
                    times[i]++;
                    found = true;
                    break;
                }
            }
            if (!found) {//如果不存在就将该单词添加到数组中
                word[w_cnt] = temp;
                times[w_cnt]++;
                w_cnt++;
            }
            temp = "";
            alacnt = 0;
        }
    }
    if (alacnt >= 4) {//判断到文件结尾的最后一个字符串是否为单词
        bool found = false;
        for (int i = 0; i < (int)temp.length(); i++)
            temp[i] = tolower(temp[i]);
        for (int i = 0; i < w_cnt; i++) {
            if (temp == word[i]) {
                times[i]++;
                found = true;
                break;
            }
        }
        if (!found) {
            word[w_cnt] = temp;
            times[w_cnt]++;
            w_cnt++;
        }
    }
    for (int i = 0; i < w_cnt - 1; i++) {//对词频数组进行排序
        for (int j = 0; j < w_cnt - 1 - i; j++) {
            if (times[j] > times[j + 1] || times[j] == times[j + 1] && word[j] < word[j + 1]) {
                int temp;
                temp = times[j];
                times[j] = times[j + 1];
                times[j + 1] = temp;
                string s_temp;
                s_temp = word[j];
                word[j] = word[j + 1];
                word[j + 1] = s_temp;
            }
        }
    }
    return w_cnt;
}

单元测试

以爬虫爬取到的论文作为测试数据，每个功能有10组测试数据。

void test() {
    for (char i = '0'; i <= '9'; i++) {
        char s[] = "testx.txt";
        s[4] = i;
    FILE *in;
    errno_t err;
    if ((err = fopen_s(&in,s, "r")) != 0) {
        printf("Open file failed!");
        exit(0);
    }
    printf("%s
", s);
    printf("characters: %d
", countChar(in));
    printf("words: %d
", countWord(in));
    printf("lines: %d
", countLine(in));
    printf("
");
    fclose(in);
    }
    
}
int main() {
    test();
    system("pause");
    return 0;
}

总结与收获

在这次作业过程中，我们小组也遇到了许多困难。起初，我和我的队友都不会使用爬虫工具爬取
论文信息，经过我们的协商之后，我的队友选择去学习如何使用爬虫工具，而我则先负责WordCount相关功能的编写。再如我们用爬虫得到的结果做测试数据时发现程序会崩溃，后来逐渐搜索数据发现爬取所得到的论文结果中存在非ascii码字符，于是我们修改代码使得程序能够正常运行。
我认为我的队友非常可靠，他对新知识的学习能力非常出色。这次作业过程就是由他来学习爬虫的写法，并且他也没有辜负我的期望成功地完成了这项任务。但是我们可能需要更多的沟通。

附加题

我们小组在附加题方面想对数据的图形可视化做出一些努力。我们有以下两种思路：

• 使用MFC根据所得到的结果直接绘制出图表，参考该博客

• 将所得数据导入Excel，使用Excel绘制图表，参考该文库

效果如下图：

由于时间紧迫，我们并没有具体实现。