素材检查的一些思考

Posted 2021-01-30 feiyafei

　　现在很多算法都使用了深度学习算法，这就带来一个问题：测试素材的需求量很大。这是一些AI测试与其他测试很重的一个区别。所以测试的工作就不仅仅是原来的一些测试，还包括素材的相关工具，具体来说有：素材的采集和整理，采集需求文档，素材清洗标准，素材check。今天就主要来谈谈关于素材检查的一些思考。

　　素材检查就是检查check采集的素材是否满足测试的要求。这就要求前期的采集需求文档要写的很明确，需求文档不能只是一些笼统的说说，要具体到采集哪些case，采集的数量要求，人数要求，每个人要做多少case。在实际执行过程中，并不是每个人把所有的case都要做完，这样冗余比较多，而且在采集的时候执行起来也很有难度。因此要对每个人的case进行分类或者正交。

　　上面说的是素材check的一些基本工作，下面说一下check时候一些更深入的思考。

　　首先在进行check之前，心里面要对case，以及各种会影响算法效果的因素（比如距离、光线、遮挡、表情、角度等等）了然于胸。这样在check的时候才能做到游刃有余。check的一项很重要的工作就是发现采集过程中的问题，以便在下次采集的时候即是改正。

　　其次在check素材的工作也是帮助我们进一步加上对项目的理解，因为算法处理的就是这些采集的素材，而这些素材也是根据这个项目的case采集的，因此素材check能帮助我们更加主观的去理解这些case，这比excel表中的case要直观的多。对case的理解深入了，对项目的理解就也更加深入了，对于接下来的测试有很大帮助。

　　再次，check素材的时候，也不是单单检查素材的质量，更需要在检查的时候进行思考，比如case的设计是不是合理，对于新同学还可以思考为什么要设计这样的工作，设计其他的动作可以吗？这样可以更快的理解项目。通过查看一张张的图片，更有助于我们进行一些发散思维。通过check素材，反过来再来改善我们的case设计，这样循环迭代，是的case设计和采集越来越完善。

　　最后，根据一些实际情况，还可以进行一些其他的思考。比如说同时采集了2D和3D的素材，那么在检查的时候通过图片就能很直观的看到他们素材的差别，进一步思考就是3D相对于2D有什么优势，有什么劣势，这些优/劣势具体变现在哪些方面，在进一步思考可以建议算法将3D和2D结合起来，去处理一些2D难以解决问题，或者3D难以解决的问题，这样就可以从素材的角度提供一些合理及建议，通过这些思考我们测试的能力和专业度就得到的很大的提升。