触摸屏物体识别到底是怎么实现的

Posted 2023-05-10

触摸屏系统可以分成两个部分，也就是触摸检测装置和触摸屏控制器。触摸检测装置安装在显示器屏幕的前边，它用于检测用户触摸位置，接收后送给触摸屏控制器；触摸屏控制器的主要功能是从触摸点检测装置上接收触摸信息，并把它转换成触点坐标，再输出给CPU，而且它能同时接收CPU发来的命令并加以执行了，

用手指或其它物体触摸安装在显示器前端的触摸屏，然后系统根据手指触摸的图标或菜单位置来定位选择信息输入。触摸屏由触摸检测部件和触摸屏控制器组成；触摸检测部件安装在显示器屏幕前面，用于检测用户触摸位置，接受后送触摸屏控制器；而触摸屏控制器的主要作用是从触摸点检测装置上接收触摸信息，并将它转换成触点坐标，再送给CPU，它同时能接收CPU发来的命令并加以执行。

一、.从触摸屏屏体本身区别：

1.电阻压力触摸屏：

电阻压力触摸屏一般为硬塑料平板（或有机玻璃）底材多层复合膜，硬塑料平板（或有机玻璃）作为基层，表面涂有一层透明的导电层，上面再盖有一层外表面经过硬化处理、光滑防刮的塑料层，它的表面也涂有一层透明的导电层，在两层导电层之间有许多细小的透明隔离点。电阻屏的外表如果用手触摸用心感触它是软的，在较好的光线下可以看出屏体上的细小的规则的透明隔离点。到控制器的线一般为扁平的氧化银信号线。一般（并非绝对）从该信号线中信号线的根数多少，屏体的透光度没有玻璃好。

2.电容触摸屏：

电容触摸屏使用多层复合膜玻璃底层，玻璃屏的内表面和夹层各涂有ITO导电层，最外层是只有0.0015毫米厚的硅土玻璃保护层，屏体的四周有不规则分布的氧化银线段，在屏体的四个角或四条边上引出四个电极，到控制器的线一般为圆形的信号电缆。屏体的透光度没有玻璃好。屏体看不出规则的麻点。

3.红外感应触摸屏：

红外感应触摸屏用户很好识别，红外感应触摸屏一般都有一个外框，框里有电路板，在X、Y方向排布红外发射管和红外接收管，一一对应形成横竖交叉的红外线矩阵。红外屏有外挂式和内置式区分，外挂式较厚，一般在10毫米左右；外挂式有纯边框结构的，也有带玻璃托板的，内置式一般都带玻璃托板。

4.表面声波触摸屏：

表面声波触摸屏使用纯玻璃材质，屏体的左上角和右下角各固定了竖直和水平方向的楔形超声波发射换能器，右上角则固定了两个相应的楔形超声波接收换能器。屏体的四个周边则刻有45度角的精密的反射条纹。到控制器的线一般为圆形的信号电缆。

二、从屏体出线区分四线电阻屏和五线、六线电阻屏：

四线电阻触摸屏的屏体出线均是两层线粘贴在一起的（有的屏体出线可能是5条），而五、六线电阻触摸屏的屏体出线均是单层并列的。

三、从触摸屏控制盒（器）与计算机的连接方式上区分：

各种触摸屏与计算机的连接，一般都与计算机的串口相连（也有USB接口的），是信号部分；同时触摸屏还需要电源输入部分，由计算机供给。ELO 产品均从计算机的主板键盘接口取电，属5V工作电压；Generaltouch表面声波触摸屏的控制盒需要12V的电源输入，则需要与计算机的电源直接连接。其它触摸屏控制盒多从计算机主板的键盘接口取电。

四、用手指操作区分：

可用指甲（而不是皮肤）轻压屏幕，假如屏幕有反应，就可能是电阻式或红外线式屏幕。再同时用两根手指分别轻压屏幕上两点。假如光标移到其中一根手指下方，这装置使用的就是红外线（软件只记录第一个接触点）；假如光标移到两根手指之间，屏幕就是电阻式（两个接触点皆有影响力）。假如这个装置对指甲毫无反应，你的下一步还是用两根手指分别轻压屏幕上两点。这时候，如果光标移到其中一根手指下方，那么这屏幕使用的原理是声波；假如光标移到两根手指中间，它就是电容式触控屏幕。

五、从触摸屏的驱动程序区分：

结合以上几点，再看触摸屏驱动程序的界面即可更准确的区别是何种触摸屏。

　　您好！只要您明白它们的工作原理就知道怎么回事了。
　　电容屏的工作原理是:
　　是利用人体的电流感应进行工作的。电容式触摸屏是是一块四层复合玻璃屏，玻璃屏的内表面和夹层各涂有一层ITO，最外层是一薄层矽土玻璃保护层,夹层ITO涂层作为工作面,四个角上引出四个电极，内层ITO为屏蔽层以保证良好的工作环境。 当手指触摸在金属层上时，由于人体电场，用户和触摸屏表面形成以一个耦合电容，对于高频电流来说，电容是直接导体，于是手指从接触点吸走一个很小的电流。这个电流分从触摸屏的四角上的电极中流出，并且流经这四个电极的电流与手指到四角的距离成正比，控制器通过对这四个电流比例的精确计算，得出触摸点的位置。
　　电阻屏的工作原理是：
　　这种触摸屏利用压力感应进行控制。电阻触摸屏的主要部分是一块与显示器表面非常配合的电阻薄膜屏，这是一种多层的复合薄膜，它以一层玻璃或硬塑料平板作为基层，表面涂有一层透明氧化金属（透明的导电电阻）导电层，上面再盖有一层外表面硬化处理、光滑防擦的塑料层、它的内表面也涂有一层涂层、在他们之间有许多细小的（小于1/1000英寸）的透明隔离点把两层导电层隔开绝缘。 当手指触摸屏幕时，两层导电层在触摸点位置就有了接触，电阻发生变化，在X和Y两个方向上产生信号，然后送触摸屏控制器。
　　分辨电容屏和电阻屏：
　　电容屏戴手套的手或手持不导电的物体（触屏笔）触摸时没有反应，这是因为增加了更为绝缘的介质。 电容屏更主要的缺点是漂移：当环境温度、湿度改变时，环境电场发生改变时，都会引起电容屏的漂移，造成不准确。
　　电阻屏可以用任何物体来触摸，可以用来写字画画，这是它比较大的优势.
　　为了使您更了解它们两者之间的差别，还是应用了些百科知识，敬请谅解！希望可以帮助到您谢谢！

可以买个电阻屏（效果不如电容屏好，但是造价要便宜很多）。通过屏幕数据线，转成COM接口接入电脑机箱（如果新主板没有COM口，可以买个PCI-E转换COM口的拓展卡）。通过驱动触摸屏之后，校准触摸屏，待触摸屏完全好使之后，变可拆鼠标了。 参考技术A 物体识别的底层程序是C++编程，上层效果程序可以使用flash、unity、ue4、ventuz等等
1.TUIOojb标准协议 ，我们通过TUIOobj协议把识别物的ID号，x,y和旋转角度发送给上层效果程序。
2.自定义UDP通讯协议格式是id1,x1,y1,angle1|id2,x2,y2,angle2 如果超过两个后面再加|id3 例如1,200,300,360|2,800,400,90|3,1024,650,45端口号上层程序可以自己随便定义，因为我们底层程序的端口号是可以配置的。
在电容屏上放置一个物体，rekud物体识别系统可以识别到：
1.marker的ID号，即是哪一个；
2.marker在屏幕上的x,y坐标，即位置；
3.marker的旋转角度angle。
物体识别硬件部分包括rekud电容识别屏和marker识别模块，支持多个模块。软件部分包括底层识别程序和上层效果程序，其中底层程序为开源，上层程序支持u3d、ue4、ventuz、flash等等。
识别率≥95%，稳定性非常好
同时识别≥10个，最多支持80个模块
寿命超过50000小时
支持手指触控、marker识别模块
06.识别程序开源，上层程序支持自主开发 参考技术B 电容屏物体识别是一种新型智能识别技术，可以在电容触摸屏上识别特制的多个模块，感应出不同的精美画面，轻松炫酷实现人机交互。
物体识别可以将产品下放置模块，模块在放入屏幕中，可以展示任意炫酷的上层显示效果，例如，可以在一个手机后面放置一个模块，在把手机和模块同时放在屏幕上，当然，屏幕是与地面水平，系统检测到这个模块以后会触发相应的上层效果，例如手机四周出现光圈不断闪烁，在一一介绍手机功能，手机各个零件功能，并且支持手触摸，任意移动，当手机和模块在移动时，上层特效跟随移动，移动跟踪效果。
市场的针对产品是非常好的应用，尤其是产品化，例如：手机、玩具、化妆品、洗衣用品、酒水类、对一些小的产品是一个非常适合，可以增加人气，快速提升企业及产品知名度。
上海先之实业有限公司是一家专业从事多媒体创意，策划，施工一体化的公司，同时以数字化，三维动画，影视拍摄，人机互动等高端技术为主导，可根据客户需求提供专业的“多媒体解决方案”。
公司的核心产品包括智能化中控系统，融合拼接软件，多媒体互动软件定制研发，大屏幕触摸互动，VR，AR技术，舞台灯光音响设计集成，触摸屏物体识别，展厅展馆多媒体前端展示技术等 参考技术C 触摸屏系统可以分成两个部分，也就是触摸检测装置和触摸屏控制器。触摸检测装置安装在显示器屏幕的前边，它用于检测用户触摸位置，接收后送给触摸屏控制器；触摸屏控制器的主要功能是从触摸点检测装置上接收触摸信息，并把它转换成触点坐标，再输出给CPU，而且它能同时接收CPU发来的命令并加以执行了， 参考技术D

从早期对屏上特征图案进行红外背摄的模式识别技术，到通过红外触摸框对屏上凸点阵列进行特征识别技术，再到在各种类型电容屏上对电容触纹基于深度学习的识别技术，以及最新的与RFID结合的无穷ID物体识别技术，北京锐扬科技始终走在人机交互技术的最前沿。

针对以上不同的物体识别技术，北京锐扬科技可以提供相应的识别令牌，还可以根据客户的要求定制令牌的尺寸和造型。

物体识别互动屏的应用创意参考

 物品信息自助展示 : 物品（如商品或展品）底部嵌入令牌后，人们将其放到互动屏上时，就可以对其关联信息进行交互式自助展示。

三维空间快捷操作 : 模块嵌入令牌后，在互动屏上放置、移动或旋转时，其相对位姿可对应相机、灯光或其他参数，实现空间漫游和方案变换等操作。

蓝图节点逻辑联动 : 标识底部嵌入令牌后，在互动屏任意位置放下、拿起，可实现蓝图节点的增减，节点相关参数则可在其周边显示和修改。

塔防游戏和数字沙盘 : 防御塔或沙具底部嵌入令牌后，在互动屏上进行摆放和关联界面操作，可以更加直观、便捷地进行互动，提高游戏的趣味性。

数字魔镜全屏探索 : 在框形结构中嵌入令牌后，在互动屏上移动时，框形内部区域显示与其位置关联的分层、透视、放大、动画等动态媒体内容。

图像识别遇到未知物体怎么办？

导语：把不在标签类别内的未知物体识别成已知类别，是图像识别一个头痛的问题，怎么解决呢？

几天前，我收到了 Plant Village 的一个问题，Plant Village 是一个和我合作的团队，他们正在开发一个 app 。它可以检测植物的病害，当它指向叶子的时候可以得到很好的结果，但是如果你把它指向电脑键盘，它会认为这是受损的作物。

对于计算机视觉研究人员来说，这个结果并不令人惊讶，但对于大多数其他人来说，这令人震惊，所以我想解释为什么会发生这种情况，以及我们能做些什么。

作为人类，我们已经习惯了对周围世界中的一切进行分类，我们自然而然地希望机器具有同样的能力。大多数模型只能识别非常有限的目标，例如原始 ImageNet 竞赛的1000个类别。至关重要的是，训练过程假设模型看到的每个例子都是这些目标中的一个，并且预测必须在这个集合中。模型没有说“我不知道”的选择，也没有训练数据来帮助它学习这种反应。这是一种在研究环境中有意义的简化，但是当我们试图在现实世界中使用模型时会引起问题。

当我在 Jetpac 的时候，我们很难说服人们相信这个具有开创性的 AlexNet 模型是一个巨大的突破，因为每次我们交给他们一个运行网络的演示手机，他们都会把手机指向自己的脸，它会预测出类似“氧气面罩”或“安全带”之类的东西。这是因为 ImageNet 的竞赛类别没有包括任何人的标签，但是大多数带有面具和安全带标签的照片都包含人脸。另一个令人尴尬的错误是，当他们把它指向一个盘子时，它会预测“马桶座圈” ！这是因为在最初的分类中没有盘子，而且在外观上最接近的白色圆形物体是一个马桶。

我认为这是“开放世界” vs. “封闭世界”的问题。模型被训练和评估，假设只有一个有限的宇宙的物体呈现给他们，但一旦在实验室外面使用它，假设就被打破了，用户根据任意摆在他们面前的物体的表现来判断模型效果，而不管这个物体是否是在训练集中。

那么，解决方案是什么呢？

不幸的是，我不知道有什么简单的方法可以解决这个问题，但是我看到了一些有用的策略。最显然的是在训练数据中添加一个“未知”类。坏消息是，这会带来另外一系列的问题。

• 什么样本应该放进这个未知类？可能的自然图像数量几乎无限，那么你如何选择包括哪一个呢？
• 在未知类中，每种不同类型的目标需要多少个？
• 对于那些看起来与你关心的类非常相似的未知目标，你应该怎么做？例如，添加一个不在 ImageNet 1000中，但看起来几乎相同的狗品种，可能会迫使大量本来可能是正确的匹配到未知的类。
• 你的训练数据中未知类的样本的比例应该是多少？

最后一点实际上涉及到一个更大的问题。你从图像分类网络得到的预测值不是概率。他们假设看到某个特定类的几率等于该类在训练数据中出现的频率。如果你试图使用包含亚马逊丛林中的企鹅的动物分类器，你会遇到这个问题，因为(大概)所有的常见的企鹅都是假阳性。即使是在美国的城市里，在 ImageNet 的训练数据中出现罕见品种的频率也远远高于在狗公园里出现的频率，所以它们会被过度描述为假阳性。通常的解决方案是找出你在生产中将要面对的情况下的先验概率，然后使用这些数据将校准值应用到网络的输出中，从而得到更接近真实概率的结果。

有助于解决实际应用程序中总的问题的主要策略是，将模型的使用做限制，把什么物体将出现的假设与训练数据匹配。一个简单的方法就是通过产品设计。你可以创建一个用户界面，让用户在运行分类器之前将他们的设备集中在感兴趣的对象上，就像 app 要求你给支票或其他文档拍照时一样。

稍微复杂一点，你可以编写一个单独的图像分类器，它试图识别主图像分类器不适合的条件。这与添加单个“未知”类不同，因为它更像是一个级联（cascade），或者是细节模型之前的一个过滤器。在农作物病害案例中，操作环境在视觉上是非常清晰的，因此可以训练一个模型来区分叶子和随机选择的其他照片。足够的相似性让门控（gating）模型应该至少能够区分这是一个不支持的场景。这个门控模型将在完整图像分类器之前运行，如果它没有检测到看起来像是植物的东西，它将提前退出，并弹出一个错误消息，表明没有发现作物。

要求你拍信用卡图像或执行其他类型 OCR 的应用程序通常会结合使用屏幕上的指示和模型来检测模糊或欠对齐，以引导用户拍摄可以成功处理的照片，一个“有树叶吗? ”模型是这个界面模式的简单版本。

这可能不是一组非常令人满意的答案，但它们反映了一旦你把机器学习超出了受限的研究问题，用户期望的混乱。有很多常识和外部知识可以帮助人们识别一个物体，而我们在传统的图像分类任务中并没有捕捉到这些东西。为了得到满足用户期望的结果，我们必须围绕我们的模型设计一个完整的系统，这个系统理解他们将要部署到的世界，并且根据模型输出以外的东西做出明智的决定。

来源：

https://petewarden.com/2018/07/06/what-image-classifiers-can-do-about-unknown-objects/