个人作业：词频统计

Posted 2020-10-29 USTC火苗

 

 　　　　　　　　　　　　　　　　个人作业：词频统计

Github项目地址：https://github.com/USTChuomiao/homework1/blob/master/PB15061351/hw1.cpp

 

PSP

PSP2.1	Personal Software Process Stages	预估耗时（分钟）	实际耗时（分钟）
Planning	计划	5	3
· Estimate	· 估计这个任务需要多少时间	5	3
Development	开发	1125	1235
· Analysis	· 需求分析 (包括学习新技术)	3 * 60	4* 60
· Design Spec	· 生成设计文档	30	40
· Design Review	· 设计复审 (和同事审核设计文档)	5	5
· Coding Standard	· 代码规范 (为目前的开发制定合适的规范)	10	10
· Design	· 具体设计	30	30
· Coding	· 具体编码	8 * 60	9 * 60
· Code Review	· 代码复审	30	40
· Test	· 测试（自我测试，修改代码，提交修改）	6* 60	5.5 * 60
Reporting	报告	60	60
· Test Report	· 测试报告	20	30
· Size Measurement	· 计算工作量	10	10
· Postmortem & Process Improvement Plan	· 事后总结, 并提出过程改进计划	30	20
合计		1190	1298

 

项目要求：

1、目标：对源文件（*.txt,*.cpp,*.h,*.cs,*.html,*.js,*.java,*.py,*.php 等，文件夹内的 所有文件）统计字符数、单词数、行数、词频，统计结果以指定格式输出到默认文件中，以及其他扩展功能，并能够快速地处理多个文件。

2、要求：设计 10 个测试样例用于测试，确保程序正常运行（例如：空文件，只包含一 个词的文件，只有一行的文件，典型文件等等）。

 

解决思路：

1、首先做了一个初步的规划： （1）文件夹的遍历；

　　　　　　　　　　　　　　（2）统计单个文件中的字符数、行数、单词数；

　　　　　　　　　　　　　　（3）对每个单词以及出现次数进行存储；

　　　　　　　　　　　　　　（4）对每个词组以及出现次数进行存储；

　　　　　　　　　　　　　　（5）找出词频前十的单词和词组并输出。

2、完成对一个路径内所有文件的遍历。起初在windows环境开发，学习了网上的一些操作之后，结合自己的想法，决定用栈来辅助所有文件的遍历。先打开一个文件夹，如果是文件夹将其路径存入栈中，如果是文件继续遍历，完成当前文件夹遍历之后，从栈中弹出一个路径继续重复上述操作，直到栈空即所有文件都被遍历了。后期将代码移植到 linux 环境下，采用递归的方法遍历所有文件。

3、统计一个文件中字符数、行数、单词数，字符数和行数没什么好说的，主要是单词的提取。根据给出的单词的定义，设计了一个提取单词的算法：把当前字符用ch来存储，它的前一个字符用chr来存储，首先若满足word[0]为空、chr为非数字和字母的分隔符、ch为字母这三个条件，则将ch存入word[0]；继续读取字符，若word不为空且ch为字母，则存入word，若word长度大于4，ch为数字亦存入word；当ch读到一个分隔符时，即不满足上述条件时，检测当前word长度是否大于4,若大于则成功提取一个单词，反之清空word；重复上述操作即可将文件中单词提取出来。

4、存储并统计单词出现次数，起初考虑了用结构体数组、文件、树来存储，但是想了想感觉存储空间或者运行速度上会受到限制，最后采用Hash Table通过动态链表的形式存储单词及其出现次数。这个Hash Table最初想到以26个字母对应26个头指针的形式，后来升级到26*26*26*26个头指针，即依据单词的前四个字母进行检索。从刚刚成功提取单词那里调用一个对单词进行处理的函数，这个函数大概算法是这样的：首先找到这个单词对应的头指针，然后顺着头指针的链表依次对比两个单词的大小（通过ASCII码），直到找到一个相同单词的位置，就把他的词频数+1，或者找到介于两单词之间，就创建节点插入链表（这个过程中相同有是否替换单词形式的判断过程）。直到把所有单词都存入Hash Table即完成任务。（这样存储进去的单词若从Hash Table头开始遍历即是词典顺序）

5、词组的统计和单词类似，只需对提取单词的操作稍加改动，即可完成词组的提取。同样词组存入词组的Hash Table的操作也同单词类似。

6、输出词频前十的单词和词组，首先提取所有词频存入数组（单词和词组分开操作，并过滤掉相同词频数），找出词频数最大的十个，然后由刚找到的前十词频去遍历Hash Table输出十个单词或词组就停止。（注意：十个词频数不一定全用到，可能有两个或多个单词或词组词频数相同）

 

Linux下对代码质量进行分析：

gprof是gcc/g++编译器支持的一种性能诊断工具。只要在编译时加上-pg选项，编译器就会在编译程序时在每个函数的开头加一个mcount函数调用，在每一个函数调用之前都会先调用这个mcount函数，在mcount中会保存函数的调用关系图和函数的调用时间和被调次数等信息。最终在程序退出时保存在gmon.out文件中。

这次代码做的主要优化是Hash Table的长度改变，从 26 变成 26*26 到最终的 26*26*26*26 可以明显的感觉到速度的提升。

还有一些小的优化就是词组提取过程中要访问单词的哈希表，起初采用了整个哈希表遍历的方式，后来发现只需要遍历对应行的单链表即可，也节省了不少时间。

下边这些数据是优化后的代码数据。

1、> g++ -pg -g -o h hw1.cpp

   > ./h code/test6

运行完之后生成了 gmon.out 文件。

2、> gprof h gmon.out -p

 

得到了每个函数的性能参数，时间占比什么的。。。

3、> gprof h gmon.out -q

得到了函数之间的调用关系。。。

4、> gprof h gmon.out -A

 

 测试用例及分析过程：

 根据作业的要求，设计了十个测试集，完成并验证了符合作业要求。（这里只列出六个做以说明。）

test1：多层多个不含任何文件的空文件夹集。

测试结果：所有结果都是0，测试正常，结果正确。

test2：文件夹中仅包含三个空文件。

测试结果：字符数、行数、单词数都是0，文件数：3，测试正常，结果正确。

test3：test3.txt文件内容：file123  123file File///FILE;    (同时也算测试了路径为单个文件程序也能照常运行)

测试结果：123file没有被算作单词，file123、FILE、File是同一个单词FILE，测试正常，结果正确。

test4：包含windows95、windows7、windows、windows32a、iPhone4、IPhone5的测试集。

测试结果：windows95、windows7都看作是和windows是同一单词，但和windoes32a不是同一单词；

iPhone4和IPhone5被认为是IPone5，测试正常，结果正确。

 

test5：文件夹中仅包含4个.txt大文件。

测试结果：和某同学对相同文件夹测试得到结果基本相同。测试正常，结果正确。

test6：文件夹中包含各种类型的文件。

测试结果：和某同学对相同文件夹测试得到结果基本相同。测试正常，结果正确。

 

  此次项目获得的经验：

在此次项目的开发测试过程中，首先对问题的分析和解决方案的选取很重要，要把解决策略步骤化，代码模块化，并作模块化调试之后再联合调试。其次在写程序的时候要不断学习吸收新的知识，另外在debug的时候最好有个伙伴在旁边，这样能帮助你很快的解决一些小问题，节省很多时间。最后在完成初步调试通过后，要进行多方面多层次的大量测试，从中发现问题并改进，以确保代码的稳定性和正确性。