在测试过程中发现了多少Bug?
(1)会出现登录信息cookies未在适当时候保留或者移除,比如在课程页面注销,但在主页还留存着的情况。
(2)部分浏览器首页联系开发团队的按钮不能正常使用.
(3)部分浏览器(PM的机器)会出现页面左右可以拖动的情况,而另一些没有。
(4)缺少对于评论的修改选项,也不支持对于评论的评论。
(5)搜索栏缺少一些必要的tips,比如搜课程名还是老师,编号,可能会使新用户产生困惑
(6)课程页面的“课程网站”和“学院官网”两个链接暂时没有指向其他网页。
(7)评论内容必须大于30字,否则无法进行评论(不写评价也无法完成评分)。
(8)密码输入错误一次之后,再重新输入也无法登陆,而且看密码的按钮也无法继续使用。
(9)注册成功后注销,再点登陆默认有注册界面且之前注册用过的信息都还在(不刷新页面的情况下)
(10)输入邮箱没有验证,随意输入字符串都能通过。
(11)进入搜索结果第二页或以后得页面中某一门课后点后退,搜索结果是第一页的。
(12)部分机型无法显示联系开发者的加群二维码。
(13)一个用户可以对一门课程多次评分。
你是怎么进行场景测试(scenario testing)的?包括你预期不同的用户会怎样使用你的软件?他们有什么需求和目标?你的软件提供的功能怎么组合起来满足他们的需要?
信息 | 描述 |
---|---|
姓名,年龄,职业 | A,20,大学学生 |
收入 | 无 |
学历 | 大学在校本科生 |
使用目的 | 选课前想要查看课程信息指导选课,上课结束后想要评价课程帮助后来的学弟学妹 |
用户偏好 | 善于并且愿意给出客观评价 |
所占比例 | 80%-85% |
典型场景 | 选课前登陆看一下评分指导选课;上课后和其他同学讨论这门课;结课后对课程评分 |
典型描述 | 实时查看,实时评论 |
信息 | 描述 |
---|---|
姓名,年龄,职业 | B,35,大学老师 |
收入 | 8k |
学历 | 大学老师 |
使用目的 | 想要看自己所授课程的评价,指导上课的内容 |
用户偏好 | 善于并且愿意接受学生的反馈 |
所占比例 | 15%-20% |
典型场景 | 查看自己的课程,根据同学们的反馈调整教学 |
典型描述 | 实时查看 |
场景测试一
典型用户:A
用户的需求:
(1)选课前想要查看课程信息指导选课
(2)上课结束后想要评价课程帮助后来的学弟学妹
典型场景:
(1)A首先打开网站,点击注册按钮,输入自己的账号和密码,注册成功(这时已经自动登录)
(2)在首页,A有三种可能的操作
(a)点击自己的学校,专业,搜索某一门课程
(b)点击学校(点击或者不点击专业),查看此学校或者此专业的全部课程
(c)对网站有一定的建议,点击联系开发者的按钮。
(3)在课程页面
(a)A想要查看某一门课程的评价,进而决定是否学习这门课程,点击该课程,在具体的课程页面下拉,查看评论以及评分。
(b)A想要评价自己上过的课程,点击该课程,在具体的课程页面下拉,点击“撰写评价”按钮,点击“选择学期”和“选择老师”,然后对有趣程度、充实程度、课程难度、课程收获四项进行评分,再书写评论,选择“是否匿名”,点击“提交”按钮完成操作。
典型用户:B
用户的需求:
想要看自己所授课程的评价,指导上课的内容。
典型场景:
(1)B首先打开网站,点击注册按钮,输入自己的账号和密码,注册成功(这时已经自动登录)
(2)在首页,B有两种可能的操作:
(a)点击自己的学校,专业,搜索自己的课程
(b)对网站有一定的建议,点击联系开发者的按钮。
(3)在课程页面
(a)B想要查看自己上的课程的评价,继而指导上课的内容,点击该课程,在具体的课程页面下拉,查看评论以及评分。
(b)B想要对自己上过的课程的评价给出一些说明,点击该课程,在具体的课程页面下拉,点击“撰写评价”按钮,点击“选择学期”和“选择老师”,然后对有趣程度、充实程度、课程难度、课程收获四项进行评分,再书写评论,选择“是否匿 名”,点击“提交”按钮完成操作。
给出你的测试矩阵(test matrix),也即在什么样的平台、硬件配置、浏览器类型……上对你的软件进行测试?
测试矩阵 | 后端功能测试 | 前端功能测试 | |||||||||
---|---|---|---|---|---|---|---|---|---|---|---|
测试机型 | 测试环境(版本和浏览器) | 登录功能 | 发邮件给开发者 | 联系我们 | 搜索课程 | 查看和写评论 | 课程评分 | 注销 | 页面布局 | 加载速度 | 页面链接 |
联想Z575 | win—10 Google Chrome 62.0.3202.89(32-bit) | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 较好 | 正常 | 正常 |
惠普暗影精灵 | win-10 Google Chrome 62.0.3202.94(64-bit) | 正常 | 无反应 | 正常 | 正常 | 正常 | 正常 | 正常 | 较好 | 正常 | 正常 |
macbookpro | macOS(64位) Safari 11.0.1 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 较好 | 正常 | 正常 |
联想 V3000 | win—10 Google Chrome57.0.2987.110(64-bit) | 较好 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 较好 | 正常 | 正常 |
联想 V3000 | win—10 360浏览器9.1 | 正常 | 无反应 | 正常 | 正常 | 无法查看 | 正常 | 正常 | 较好 | 正常 | 正常 |
联想 V3000 | win—10 Microsoft Edge 38.14393.0.0 | 正常 | 正常 | 正常 | 正常 | 无法查看 | 正常 | 正常 | 一般 | 正常 | 正常 |
iphone 6 | Safari | 正常 | 正常 | 无法显示 | 正常 | 正常 | 正常 | 正常 | 一般 | 正常 | 正常 |
华为 MateS | 百度浏览器9.3.6.2 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 正常 | 一般 | 正常 | 正常 |
三星S6 | UC浏览器 | 正常 | 正常 | 无法显示 | 正常 | 无法查看 | 正常 | 正常 | 一般 | 正常 | 正常 |
你的软件Alpha版本的出口条件(exit criteria)是什么?也即在什么条件下,认定你的软件已经足够好,可以发布Alpha版本?
出口条件首先是没有严重影响体验的bug出现,如果有的话应该在发布前进行消除。其次,功能方面应该基本达到事前的预期设计,没有主要功能无法正常使用或者未开发完成。而且网站的兼容性和稳定性应该能够满足多数用户的需要。
首先是功能方面基本实现:
这部分的功能还有一些会出现一些问题,但是主要功能比较稳定,而且出问题的比例和平台都具有零散化的特点,认为基本达到了出口条件。
1.链接测试
测试项目 | 测试方式 | 测试结果 |
---|---|---|
测试链接的正确性 | 遍历所有的链接 | 链接均能指向设计的正确网页 |
链接的有效性 | 遍历所有的链接 | 部分手机首页的“联系我们”无法使用,课程页面的“课程网站”和“学院官网”两个链接暂时没有指向其他网页 |
2.表单测试
测试项目 | 测试方式 | 测试结果 |
---|---|---|
表单的正确性测试 | 提交的信息与网站显示信息作比较 | 评论正确,评分正确,登录正确 |
表单的等价性测试 | 两次输入相同的内容,将网站上显示比较 | 评论正常,评分正常,登录正常 |
异常输入的测试 | 输入一些不符合常理的输入 | 登录可以识别账号和密码错误,评分可以识别某一项未评分,评论可以要求在30字符以上 |
3.链接速度测试
测试项目 | 测试方式 | 测试结果 |
---|---|---|
首页打开 | 通过浏览器内置的元素查看 | 40.95ms |
含有所有课程的搜索页面 | 通过浏览器内置的元素查看 | 1310ms |
通过具体的信息搜索课程 | 通过浏览器内置的元素查看 | 111.57ms |
具体课程的评论界面 | 通过浏览器内置的元素查看 | 72.04ms |
4.用户体验部分功能的测试
测试项目 | 测试方式 | 测试结果 |
---|---|---|
匿名的测试 | 通过两次提交评论测试(一次匿名一次不匿名) | 可以实现匿名 |
网站风格的一致性 | 比较各个网页的风格 | 网页风格基本一致 |
网站配色和排版的舒适程度 | 遍历各个网页 | 课程搜索页面较为单调,其余网页较好 |
网站的稳定性测试
这一部分的测试通过scrapy框架进行模拟访问进行测试,分别通过四个模拟访问的程序增加网站压力,大致相当于每秒网站100次打开搜索某一个课程的访问量,网站的功能还能正常使用,但网站的速度确实有比较大的降低,这一部分在较大压力下能保持基本功能,认为达到了出口条件。
1.正常访问的响应时间
2.压力测试过程中的响应时间
网站的兼容性测试
测试的大部分平台上至少主要功能都能够正常使用,但也有个别平台上的个别网站功能不能正常使用(具体测试可以看上面的第三部分测试矩阵)
(1)操作系统
测试 | 测试结果 |
---|---|
win10 | 通过 |
ios11.0 | 通过 |
android | 通过 |
macOS | 通过 |
(2)浏览器
测试 | 测试结果 |
---|---|
Safari | 通过 |
360浏览器 | 通过 |
Microsoft Edge | 通过 |
Google Chrome | 通过 |
百度浏览器(Android) | 通过 |
UC浏览器(Android) | 通过 |
综上而言,我认为我们的网站是达到了基本出口要求的。