隆天律丛∣基于复审案例浅谈神经网络的客体问题

Posted 隆天知识产权

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了隆天律丛∣基于复审案例浅谈神经网络的客体问题相关的知识,希望对你有一定的参考价值。




引 言




传统意义上的神经网络一般是指生物体的神经细胞(即神经元)通过细胞体上的突起相互连接而组成的网络,该网络用于产生生物体的意识,帮助生物体进行思考和行动。而人工神经网络(Artificial Neural Network,以下简称为神经网络)是一种模拟生物体的神经元连接网络的数学模型,可以模仿生物体大脑的智能活动来进行数学计算,从而解决各种计算任务。由此可见,神经网络是一种天然地具有“智力”属性的通用性的数学算法,这也导致了神经网络相关的专利申请中的全部内容或者部分内容容易被视为涉及智力活动的规则和方法,进一步地会被认为不属于技术方案而被排除在专利的授权客体之外。

隆天律丛∣基于复审案例浅谈神经网络的客体问题

生物神经网络

隆天律丛∣基于复审案例浅谈神经网络的客体问题

人工神经网络

针对神经网络或者其他涉及人工智能等新业态新领域的专利申请,国家知识产权局在2019年12月31日发布了关于修改《专利审查指南》的公告(第343号)。修改后的《专利审查指南》对涉及人工智能、“互联网+”、大数据以及区块链等的发明专利申请的审查特殊性作出规定,并通过若干审查示例在一定程度上明确了相关专利申请的审查规则,具体对涉及客体问题判断时使用的技术方案的三要素,即技术手段、技术问题、技术效果,做出了详细说明。然而,在专利实务中,由于方案的多样性和复杂性,神经网络的相关申请内容通常难以在抽象的数学算法和具体的技术方案之间进行准确划界。在面对一件专利申请是否属于专利法规定的授权客体的问题时,专利申请人/专利代理师以及专利审查员也往往会因认知上的差异而得出不同的判断结果。






当专利审查员依据《专利法》第2条第2款或者《专利法》第25条第1款的相关规定对一件神经网络相关的专利申请作出不属于专利保护客体的驳回决定时,专利申请人可以根据《专利法》第41条的规定向专利复审委员会请求复审,专利复审委员会在经过复审后可以作出维持原驳回决定或者撤销原驳回决定的复审决定。专利复审程序可以在某些情况下纠正专利审查程序中相关主体的认知错误,而专利复审结果也可以在某种程度上更加客观地反映相关法条规定的适用条件。因此,本文基于若干复审案例对神经网络的客体问题做简单探讨,以期对神经网络相关专利申请的撰写、涉及客体问题的审查意见答复提供一定的参考。


一、关于神经网络的客体问题的三种认知


与神经网络相关的专利申请的保护主题主要涉及神经网络的模型结构、神经网络的模型训练/优化方法或者神经网络在具体场景中的使用方法等多种主题类型。各种不同主题类型的神经网络相关方案,均需要借助计算机设备来实现;例如,神经网络的模型结构一般是安装在计算机设备的存储器中,具体可以将神经网络的模型框架、网络参数、输入/输出数据保存在存储器的不同存储区域中;又例如,神经网络的训练方法/应用方法由计算机设备的处理器执行,计算机设备的处理器在执行相关的神经网络算法时,需要从存储器中读取/写入网络参数及相关的输入/输出数据。那么,与计算机设备相结合的神经网络是否就足以构成我国专利法规定的专利保护客体呢?从以往的国内外专利实践中或许可以寻找到答案。











在美国和欧洲的专利审查和司法实践中,对于神经网络的客体判断,相比于我国而言一般是较为宽松的。例如,Google公司及其旗下的DeepMind公司在美国提交了大量的涉及神经网络的相关专利申请,其中不乏Dropout(一种预防过拟合的神经网络训练方法)、CNN(卷积神经网络)、RNN(循环神经网络)等普遍被认为是基础算法或者公开资源的相关方案。



美 国


事实上,美国一直以来都是可专利主题最为宽泛的国家,美国专利法规定:凡发明或发现任何新颖而实用的方法、机器、制品、物质组成或其任何新颖而实用的改进,都可以按照本法规定的条件和要求取得专利权。在美国的司法实践中,曾经提出并使用过“机器或变换测试法”对方法的可专利性问题作出指导,具体是指作为可专利主题的方法需要与特定机器相结合或者能够把一件物品变换成另一个不同状态或另一种东西。基于这一测试方法,与计算机设备相结合的神经网络算法显然同时具备了与特定机器相结合以及对输入数据进行变换处理的条件。


欧 洲


欧洲专利局在进行专利审查时,会对权利要求中的所有特征做技术特征和非技术特征的划分,其中非技术特征会被排除在新颖性和创造性的评价范围之外。在对权利要求进行可专利性判断时,欧洲专利局曾经使用过“贡献论”(contribution approach)的判断方法,该方法规定在进行可专利性判断时,仅考虑权利要求中对现有技术作出贡献的部分是否属于排除主题。然而,由于违背了权利要求应当整体评价的原则,贡献论很快便被弃用了。在此基础上,欧洲专利局确立了只要权利要求中包含计算机、计算机网络或者计算机可读介质,就会赋予权利要求以技术性质(technical character)的原则。而技术性质正是欧洲专利公约要求一项专利法意义上的发明所必须满足的隐含要求。基于这一判断原则,当神经网络算法与计算机设备相结合时,能够初步判断其具备关于技术性质的可专利性要求。


中 国


在我国的专利实务中,在面对与神经网络相关的专利申请是否属于专利法规定的授权客体的问题时,一般情况下可能会产生如下三种认知:

1)神经网络属于一种通用性的算法工具,神经网络的相关结构或者方法依赖于计算机设备的硬件结构,其数据处理过程也必然涉及计算机内部的数据获取、数据传输、数据存储等技术手段。因此,神经网络本身便是一种能够在多种不同的技术领域中进行应用的技术方案,属于专利保护的客体。

2)在涉及神经网络的权利要求中清楚地限定某一个具体的技术领域,基于该技术领域的神经网络的模型结构或者模型训练/优化/应用方法等方案涉及通过计算机程序对该技术领域中的技术数据进行数据处理的技术手段。这种方案属于审查指南第九章规定的涉及计算机程序的发明专利申请,具体涉及通过执行计算机程序处理外部技术数据的情形。因此,与某一具体技术领域相结合的神经网络构成一种技术方案,属于专利保护的客体。

3)在未限定具体技术领域的情况下,对神经网络的结构或者算法步骤进行优化涉及对计算机程序的计算资源、计算效率等方面进行性能优化的技术手段。这种方案属于审查指南第九章规定的涉及计算机程序的发明专利申请,具体涉及通过执行计算机程序改善计算机系统内部性能的情形。因此,即便没有与具体技术领域做结合,基于神经网络对计算性能进行提升优化的方案足以构成技术方案,属于专利保护的客体。


针对如上所述的三种认知观点,下面结合具体复审案例的复审结果逐一进行分析,需要说明的是,以下各个复审案例仅对具体复审决定的相关内容做简要摘取。相关案例的复审决定的完整内容请参见国家知识产权局专利复审和无效审理部官方网站。
 

二、涉及多种技术领域的神经网络能否作为通用技术方案而成为专利保护客体

 

案例1:面向深度学习的稀疏自适应神经网络、算法及实现装置

决定号

192123

决定日

2019-09-23

申请号

201510944909.7

申请日

2015-12-16

案例1的驳回决定所针对的权利要求1内容如下:


一种面向深度学习的稀疏自适应神经网络算法,运用在单芯片上,其特征在于:
1)采用对能量函数的概率分布的最大似然估计的负对数形式求最小值的凸优化形式表示目标函数;
2)所述目标函数为: 隆天律丛∣基于复审案例浅谈神经网络的客体问题 ,其中λ表示正则化系数,l表示网络的层数,最低为1层, 隆天律丛∣基于复审案例浅谈神经网络的客体问题 表示每一层RBM的可视层, 隆天律丛∣基于复审案例浅谈神经网络的客体问题 表示每一层RBM的隐藏层;向目标函数中加入一范数正则化项, 隆天律丛∣基于复审案例浅谈神经网络的客体问题 隆天律丛∣基于复审案例浅谈神经网络的客体问题 表示连接的权值;
3)所述目标函数的优化目标为 隆天律丛∣基于复审案例浅谈神经网络的客体问题 ,x ,y∈R,优化结果是隆天律丛∣基于复审案例浅谈神经网络的客体问题向优化目标区间的端点x,y靠近;
4)采用短位宽的离散的整数表示连接的权值;
5)对x,y取整,用[x],[y]表示,取[x]≤m1,m2≤[y],当 隆天律丛∣基于复审案例浅谈神经网络的客体问题 ≤m1,隆天律丛∣基于复审案例浅谈神经网络的客体问题=[x],当隆天律丛∣基于复审案例浅谈神经网络的客体问题 ≥m2,隆天律丛∣基于复审案例浅谈神经网络的客体问题=[y],否则隆天律丛∣基于复审案例浅谈神经网络的客体问题用约定值表示连接不存在;
6)在常规项的梯度下降步骤后,应用contrastive divergence规则进行更新,应用Rs的梯度更新参数。

驳回决定中指出 :权利要求1要求保护一种面向深度学习的稀疏自适应神经网络算法,所采用的方案是通过限制隐藏单元的活动数量达到稀疏表示,仅仅是对算法本身的改进,没有应用到技术领域,没有提及该算法能够用于解决何种实际的技术问题,没有限定算法参数在技术问题中所体现的物理含义,即没有形成具有技术意义的技术方案,以及也没有体现出运用该算法后能够为解决技术问题带来何种技术效果;属于人为制定的规则,属于智力活动的规则和方法。


在复审程序中,复审请求人陈述意见 :“面向深度学习的神经网络算法”本身就是一项技术方案,因为该神经网络模型适用于集成电路中,具体使用领域广泛,如在机器视觉、场景感知、特征提取、大数据处理等领域中应用,考虑到保护范围的需求,权利要求1中涉及的参数虽然未具体赋予物理含义,但对于本领域技术人员而言,在实际应用过程中,对参数赋予物理含义是常规技术。


针对复审请求人的意见陈述,合议组认为:人工神经网络是一种模仿生物神经网络行为特征,进行分布式并行信息处理的算法数学模型,其本身仅仅是一种数学模型,并不构成技术方案,只有将其应用于具体的应用领域中,对具体应用领域中的数据进行处理,从而解决具体领域中的分类、识别等技术问题时,整个方案才属于技术方案。复审请求人列举了本申请可应用的多个应用领域,正说明本申请并未与特定的应用领域相结合,而仅是抽象的数学模型。

合议组决定维持国家知识产权局对本申请作出的驳回决定。

 

案例2:分层型神经网络装置、判别器学习方法以及判别方法

决定号

195731

决定日

2019-10-15

申请号

201480073042.6

申请日

2014-02-10

案例2的驳回决定所针对的权利要求1内容如下:

一种使用分层型神经网络进行判别的装置,该分层型神经网络用于控制、预测或诊断,该装置具有:
权重存储部,其存储分层型神经网络中的节点之间的权重;
权重学习部,其对所述分层型神经网络中的多个节点之间的权重进行学习,所述分层型神经网络是根据纠错码的校验矩阵在所述节点之间进行疏耦合而形成的,并且由具有节点的输入层、中间层以及输出层构成;以及
判别处理部,其使用利用由所述权重学习部学习到的权重值更新耦合后的节点之间的权重后的分层型神经网络进行判别,求解分类问题或者回归问题。

驳回决定中指出:权利要求1并未明确限定该方法处理的具体技术问题,未与具体的技术领域相结合,解决的问题是通过人的思维活动而进行的方法算法问题,属于一种数学问题而不是技术问题,其实际采用的手段是自定义校正值、权重值配置,属于人为规定,不是技术手段;其方案带来的效果也是算法改进带来的算法/数学效果,而非技术效果,因此,权利要求1所要求保护的解决方案不够成技术方案,不符合专利法第2条第2款的规定。


在复审程序中,复审请求人在权利要求1中增加了“该装置用于与控制、预测或诊断相关的信息处理”以及“学习数据存储部”、“训练数据存储部”、“判别处理部”等涉及数据处理的相关特征,并陈述意见:修改后的权利要求1明确了该装置所应用的技术领域,即,“该装置用于与控制、预测或诊断相关的信息处理”;对于权重和数据的存储、学习和传输等特征均属于技术手段。


针对复审请求人作出的修改以及意见陈述,合议组认为:就“该装置用于与控制、预测或诊断相关的信息处理”而言,是算法数学模型的功能属性,并非专利法意义上的具体的技术领域。至于通过神经网络的具体结构进行权重和数据的存储、学习和传输等特征是算法数学模型构成要素的功能性描述,属于算法数学模型的属性本身,不属于专利法意义上的技术手段。


合议组决定维持国家知识产权局对本申请作出的驳回决定。


基于案例1及案例2的复审结果做如下对比分析:


在以上两个案例中,复审请求人通过陈述意见或者修改权利要求的方式各自为其要求保护的方案限定了多个技术领域,使得相关的神经网络成为可以跨越多个技术领域的通用算法,无法体现神经网络在具体技术领域中的“特殊性”。合议组对两件复审请求均作出了维持驳回决定的复审决定。具体而言:


在案例1中,复审请求人通过复审程序的意见陈述声明其要求保护的方案可以应用于机器视觉、场景感知、特征提取、大数据处理等技术领域,而合议组认为复审请求人列举的本申请可应用的多个应用领域,正说明本申请并未与特定的应用领域相结合,而仅是抽象的数学模型,合议组据此得出了维持驳回决定的结论。

在案例2中,复审请求人通过修改权利要求,具体限定其要求保护的方案可以应用在与控制、预测或诊断相关的信息处理的应用领域中,而这样的领域限定因为过于宽泛和抽象而被认为是算法数据模型的功能属性,合议组据此得出了维持驳回决定的结论。

神经网络需要借助集成电路或者计算机设备来实现数据的存储、传输和处理等算法功能,因神经网络具有通用性而可以在多种不同的技术领域中进行应用,在某些特定的语境下的确可以将神经网络的相关方案纳入至广义的“技术方案”的范畴中,但这种广义的“技术方案”并不严格等同于专利法意义上的技术方案。倘若在意见陈述或者在权利要求中广泛限定多种不同的技术领域,反而会令审查员/合议组得出方案整体属于通用数学算法的结论。因此,在未有其他“可专利性”依据支持的前提下,限定在多种不同技术领域中应用的神经网络作为通用技术方案不足以构成符合专利法规定的专利保护客体。

三、涉及某一指定技术领域的神经网络能否依据执行计算机程序处理外部技术数据的目的而成为专利保护客体


案例3:粒子群优化LVQ神经网络的方法及扰动、谐波检测方法

决定号

209524

决定日

2020-04-15

申请号

201510310098.5

申请日

2015-06-08

案例3的驳回决定所针对的权利要求1内容如下


一种分布式电源扰动类型的在线检测的方法,其特征在于,包括:利用粒子群优化学习向量量化LVQ神经网络的方法,依据输入的电能质量信号中的扰动类型信息,对所述电能质量信号的扰动类型进行检测,

其中,利用粒子群优化学习向量量化LVQ神经网络的过程,包括:

建立粒子群,其中所述粒子群中粒子的位置的分量与LVQ神经网络中的连接权值一一对应;

利用粒子群迭代算法,迭代更新所述粒子群中所有粒子的位置和速度;

其中,每次更新粒子的位置和速度后,均计算每个粒子的最优适应度位置,并利用得到的粒子的最优适应度位置获取粒子群的最优适应度位置,以及,利用所述粒子群的最优适应度位置更新所述LVQ神经网络的所述连接权值;

当所述粒子群迭代算法达到设定的迭代次数,或,所述LVQ神经网络的实际输出和预期输出的差值满足预设范围时,停止对粒子群中粒子位置和速度的更新;

所述每次更新粒子的位置和速度后,均计算每个粒子的最优适应度位置,包括:

每次更新粒子的位置和速度后,计算粒子当前的适应度值;

依次判断每个粒子当前的所述适应度值是否优于其当前的最优适应度位置对应的适应度值,如果是,则利用粒子的当前位置替换所述粒子的最优适应度位置;

所述计算粒子当前的适应度值,包括:

利用公式隆天律丛∣基于复审案例浅谈神经网络的客体问题计算粒子当前的适应度值;

其中,N为训练样本总数;隆天律丛∣基于复审案例浅谈神经网络的客体问题隆天律丛∣基于复审案例浅谈神经网络的客体问题别为相应于第i个训练样本的输出层的期望输出和实际输出。


在实质审查程序中,审查员以不符合专利法第22条第3款规定的创造性为依据作出驳回决定。 针对该驳回决定,申请人提出复审请求。


在复审程序中,合议组提出 :虽然在权利要求中限定了对电能质量信号的扰动类型进行检测,但在权利要求中,并没有体现出依据扰动类型信息来实现电能质量信号的扰动类型的检测,或依据输入的电能质量信号中的谐波信息,对所述电能质量信号的谐波及间谐波扰动进行检测,即电能质量参数并没有与LVQ神经网络的其他特征之间产生关联,因而其仍然仅是对算法的优化,不构成技术方案。本申请不符合专利法第2条第2款的规定,属于专利法不授权的客体。

合议组决定维持国家知识产权局对本申请作出的驳回决定。
 

案例4:一种神经网络训练方法及装置

决定号

206423

决定日

2020-03-18

申请号

201710450211.9

申请日

2017-06-15

案例4的驳回决定所针对的权利要求1内容如下:

一种神经网络训练方法,其特征在于,包括:
选取一个与学生网络实现相同功能的教师网络;
基于匹配同一训练样本数据对应的第一输出数据的数据间相似性与第二输出数据的数据间相似性来迭代训练所述学生网络得到目标网络,以实现将所述教师网络的输出数据间相似性迁移到所述学生网络;
其中:所述第一输出数据为所述训练样本数据输入教师网络后从教师网络的第一特定网络层输出的数据,所述第二输出数据为所述训练样本数据输入学生网络后从学生网络的第二特定网络层输出的数据。


驳回决定中指出:权利要求1请求保护的方案不涉及任何应用领域,解决的问题是模型训练本身,模型训练过程中所使用的神经网络的输入输出并未限定具体技术领域的具体物理参数,因此,该方法实际上要保护的对象仅限定单纯的算法,因而权利要求实质上要保护的是一种智力活动的规则和方法,属于专利法第25条第1款第2项所述的智力活动的规则和方法的范围。


在复审程序中,复审请求人在权利要求1中增加了特征“在实时的计算机视觉处理过程中,低计算能力的处理设备获取图像数据;所述处理设备使用预先设置的目标网络对获取到的图像数据进行计算机视觉处理,得到计算机视觉处理结果;其中,所述目标网络是通过如下处理得到的:”,并同时将权利要求书中的“样本数据”修改为“样本图像数据”。


针对复审请求人作出的修改以及意见陈述,合议组认为:复审请求人修改后增加的特征属于技术特征,因而该权利要求就其整体而言并不是一种智力活动的规则和方法,不应当依据专利法第25条被排除其获得专利权的可能性。该方案需要通过低计算能力的处理设备将图像数据进行处理,其中“处理”、“获取”等数据采集和数据处理的执行属于利用了遵循自然规律的技术手段,解决了技术问题,并获得了技术效果,符合专利法第2条第2款的规定。


合议组决定撤销国家知识产权局对本申请作出的驳回决定。

 
基于案例3及案例4的复审结果做如下对比分析:

在以上两个案例中,复审请求针对的权利要求中均限定了与神经网络相关的具有确切技术含义的外部技术数据,而不同之处在于涉及神经网络数据处理的特征是否与该外部技术数据产生紧密关系,而这也导致合议组对两件复审申请作出了一件维持驳回而另一件撤销驳回的复审决定。具体而言:

在案例3中,复审请求人虽然在权利要求中限定了“电能质量信号”这一具有确切技术含义的外部技术数据,但是由于其方案中神经网络的各个算法步骤并未与电能质量信号产生关联,导致其神经网络(LVQ神经网络)的实际处理对象仍然是抽象的通用数据,因此其整体并不构成专利法意义上的技术方案,合议组因而得出了维持驳回决定的结论。


在案例4中,复审请求人在权利要求中限定了通过低计算能力的处理设备获取并处理图像数据的特征,并将其神经网络(教师网络和学生网络)的实际处理对象由“样本数据”修改为“样本图像数据”,体现了神经网络的模型特征与具有确切技术含义的外部技术数据之间的紧密关系,因此整体构成专利法意义上的技术方案,合议组因而得出了撤销驳回决定的结论。

当权利要求中记载了属于某一指定技术领域的与外部技术数据相关的技术特征时(如案例3中的电能质量信号以及案例4中的图像数据/样本图像数据),基于该技术特征仅能判定该方案整体上不属于《专利法》第25条中规定的智力活动的规则和方法,但还需要对该方案是否属于《专利法》第2条第2款规定的技术方案作进一步判断,具体需要分析神经网络的相关特征(如神经网络的网络层或者方法步骤)是否与外部技术数据紧密相关,进而确定神经网络的实际处理对象是具有确切技术含义的外部技术数据或者抽象的通用数据。在未有其他“可专利性”依据支持的前提下,如果一项神经网络相关的方案没有体现神经网络的相关特征与外部技术数据之间的紧密关系,那么该方案不足以构成符合《专利法》规定的专利保护客体。

 

四、未涉及具体技术领域的神经网络能否依据改善计算机系统内部性能的目的而成为专利保护客体


案例5:用于压缩神经网络的方法和装置
决定号
223739
决定日
2020-08-13
申请号
201711473963.3
申请日
2017-12-29

案例5的驳回决定所针对的权利要求1内容如下:


一种用于压缩神经网络的方法,包括:

获取待压缩的经训练后的神经网络;

从所述神经网络的各层中选取至少一层作为待压缩层;

按照待压缩层在所述神经网络中所处的层级的层级数由大到小的顺序,依次对每个待压缩层执行以下处理步骤:基于该待压缩层所包括的参数的总数量确定裁剪比率,基于所述裁剪比率和参数值阈值,从该待压缩层所包括的参数中选取参数进行裁剪,并利用机器学习方法,基于预置的训练样本对经裁剪后的神经网络进行训练;

将对选取出的各个待压缩层进行所述处理步骤后所得的神经网络确定为经压缩后的神经网络,并存储所述经压缩后的神经网络。


驳回决定中指出 :本申请要解决的问题是如何降低神经网络算法的复杂度,其并非是技术问题,而为了解决该问题,该权利要求方案中采用的手段是通过选取神经网络的不同层,并进行相应的适当裁剪,进行模型训练后,以达到降低算法复杂度但保持与原有神经网络算法尽可能相同精度这一效果,其实质为采用的非技术手段达到了相应的非技术效果,其仅仅是利用非技术的手段实现了对算法的优化,因此,权利要求1的方案不构成技术方案,不属于专利法第2条第2款规定的客体。


在复审程序中,复审请求人在权利要求1中增加特征“其中,所述神经网络的占用空间超出占用空间阈值”,并陈述意见 :修改后的权利要求1对计算机性能进行了改进提升。相较于运行未被压缩的神经网络,会提高运行速度。而本领域技术人员可知,由于剩余的存储空间多,运行速度快,电子设备(比如计算机)的性能必定有所提升。由此可知,修改后的权利要求1对计算机性能进行了改进提升。


针对复审请求人作出的修改以及意见陈述,合议组认为 :本申请对神经网络的压缩过程是在神经网络模型已经构建后该模型的存储阶段,并不是对神经网络算法本身的进一步改进,而神经网络的压缩存储正是用于改进计算机设备本身的性能,以提高其存储空间的利用率,提升计算机运行性能,属于对计算机系统内部进行的性能改进;本申请的压缩过程虽然是对神经网络进行的剪枝操作,但其目的不是为了降低算法的复杂度,而是为了降低神经网络的存储空间,同时降低算法的复杂度也不必然是智力活动规则,需要根据其改进的方式是否与计算机设备以及数据本身的特性有关来确定。


合议组决定撤销国家知识产权局对本申请作出的驳回决定。

 

案例6:卷积神经网络的计算资源优化方法及系统
决定号
233057
决定日
2020-11-05
申请号
201610779212.3
申请日
2016-08-30

案例6的驳回决定所针对的权利要求1内容如下:


一种卷积神经网络的计算资源优化方法,其特征在于,所述卷积神经网络的计算资源优化方法包括以下步骤:
将卷积神经网络的输入Map拆分为包括若干个子Map的子Map矩阵,其中,所述输入Map的尺寸为H×W,H>0,W>0,其中所述输入Map的尺寸H×W是根据图像分辨率、图像需要反映的物理区域大小及计算资源的大小等因素预先确定的;
对每个所述子Map进行单独的卷积操作以得到每个所述子Map的卷积操作的计算结果;
根据全部所述子Map的卷积操作的计算结果原位拼接成所述输入Map的卷积操作的计算结果,其中,原位拼接指将所述子Map的卷积操作的结果放在所述子Map在所述输入Map中对应的位置。


驳回决定中指出 :权利要求1请求保护一种卷积神经网络的计算资源优化方法,该方案解决了现有神经网络计算量大、耗时长,浪费计算资源和计算实时性差的问题,其采用的手段是:将卷积神经网络的输入Map拆分为包括若干个子Map的子Map矩阵,再进行单独卷积操作,其手段是纯算法的改进,其没有采用符合自然规律的技术手段。而其达到提高算法计算效率,从而获得节约计算资源和提高实时性的效果,这种效果是由于算法改进而带来的,其不是技术效果。虽然在方案中提及“输入Map的尺寸H×W是根据图像分辨率、图像需要反映的物理区域大小及计算资源的大小等因素预先确定的”,但该权利要求没有具体体现该神经网络与图像领域相结合,更没有体现该神经网络解决图像中何种具体技术问题。因此,权利要求1不属于技术方案,不符合专利法第2条第2款的规定。

在复审程序中,复审请求人陈述意见 :本申请要解决的问题是避免浪费计算机资源且计算实时性差的弊端,属于计算机性能的改善。其次,基于计算机中像素处理所得到的,利用图像中像素特征,对MAP进行拆分从而实现MAP的卷积操作,体现了像素和神经网络的结合,解决了计算机资源浪费问题,且本申请的卷积神经网络通常可以运用在图像处理技术、图像识别、自然语言处理以及物理学等技术中,且本申请必然与计算机内部硬件结合实现,达到本申请所述的技术效果。


针对复审请求人作出的意见陈述,合议组认为 :权利要求1中的各个步骤作为一个整体体现了如何利用卷积神经网络处理图像数据,属于技术手段。解决的是卷积神经网络的层间复用进行图像数据处理时,浪费计算资源且计算实时性差的问题。该问题不仅体现为卷积神经网络本身存在的问题,还体现为将卷积神经网络应用于图像处理时出现的计算效率低、实时性差的问题,而如何提高图像数据处理时的计算效率和实时性体现的是自然规律利用过程中出现的问题,属于技术问题。权利要求1的方法通过将图像数据的输入Map进行拆分并将各子Map的计算结果进行原位拼接,取得了提升图像处理的计算效率和计算实时性的效果,属于技术效果。本申请权利要求中的卷积神经网络的输入Map大小是根据图像分辨率、图像需要反映的物理区域大小及计算资源的大小等因素预先确定的。也就是说,明确了方法的各步骤中处理的Map均为图像数据以及各步骤是如何处理图像数据的,体现了卷积神经网络与图像数据处理密切相关。
合议组决定撤销国家知识产权局对本申请作出的驳回决定。

 

基于案例5及案例6的复审结果做如下对比分析:


在以上两个案例中,复审请求人均在复审程序的意见陈述中阐明其要求保护的方案能够改善计算机系统的内部性能,合议组依据不同的理由对两件复审请求均作出了撤销驳回决定的复审决定。具体而言:


在案例5中,复审请求人在其获得授权的权利要求1中并未限定具体的某一个或者某几个具体的技术领域,其整体属于对通用的神经网络模型进行压缩以对其进行结构优化的方案;由于复审请求人在权利要求1中限定了“神经网络的占用空间超出占用空间阈值”的特征,这使得神经网络的结构优化与计算机设备的存储性能产生了紧密联系,其模型优化效果也在客观上实现了对计算机系统内部进行的性能改进,因此虽然该方案并未限定任何具体的技术领域,但不影响其作为涉及计算机程序的发明专利申请而构成专利法意义上的技术方案,合议组因而得出了撤销驳回决定的结论。


在案例6中,复审请求人虽然陈述了与案例5理由相似的对计算机系统内部进行性能改进的相关意见,但合议组并未采纳复审请求人的意见陈述,而是依据对外部技术数据(图像数据)进行处理以及体现神经网络与图像数据处理密切相关的理由得出了撤销驳回决定的结论。


倘若神经网络的相关方案能够与计算机系统的内部性能(如存储性能、运行性能)产生紧密联系,那么该神经网络的专利申请可以不必限定具体的技术领域,而作为一项通用的模型算法获得更大的保护范围。而如果神经网络的相关方案无法与计算机系统的内部性能产生紧密联系,可以通过限定具体技术领域和具有确切技术含义的外部技术数据的方式缩小专利申请的保护范围,进而克服不符合专利保护客体的问题。

、结论


基于以上对与神经网络的客体问题相关的复审案例进行的分析和比较,可得到如下结论:


1、神经网络作为一种通用的数学算法模型,虽然可以在多种不同的技术领域中进行使用,但神经网络本身并不属于专利法意义上的技术方案,不属于专利的保护客体。 倘若在意见陈述或者在权利要求中广泛限定多种不同的技术领域,反而会令审查员/合议组得出方案整体属于通用数学算法的结论。 因此,在未有其他“可专利性”依据支持的前提下,限定在多种不同技术领域中应用的神经网络作为通用技术方案不足以构成符合专利法规定的专利保护客体。


2、当权利要求中记载了属于某一指定技术领域的与外部技术数据相关的技术特征时,基于该技术特征仅能判定该方案整体上不属于专利法第25条中规定的智力活动的规则和方法,但还需要对该方案整体上是否属于专利法第2条第2款规定的技术方案作进一步判断,具体需要分析神经网络的相关特征(如神经网络的网络层或者方法步骤)是否与外部技术数据紧密相关,进而确定神经网络的实际处理对象是具有确切技术含义的外部技术数据或者抽象的通用数据。在未有其他“可专利性”依据支持的前提下,如果一项神经网络相关的方案没有体现神经网络的相关特征与外部技术数据之间的紧密关系,那么该方案不足以构成符合专利法规定的专利保护客体。


3、倘若神经网络的相关方案能够与计算机系统的内部性能(如存储性能、运行性能)产生紧密联系,那么该神经网络的专利申请可以不必限定具体的技术领域,而作为一项通用的模型算法获得更大的保护范围。而如果神经网络的相关方案无法与计算机系统的内部性能产生紧密联系,可以通过限定具体技术领域和具有确切技术含义的外部技术数据的方式缩小专利申请的保护范围,进而克服不符合专利保护客体的问题。

  作者:




王 永


隆天联鼎知识产权代理有限公司

电学部副经理

资深专利代理师





责任编辑:于秀飞 

↑↑长按二维码识别关注

以上是关于隆天律丛∣基于复审案例浅谈神经网络的客体问题的主要内容,如果未能解决你的问题,请参考以下文章

浅谈LeNet-5

干货书应用深度学习,425页pdf概述基于案例的深度神经网络理解方法

基于BP神经网络的草莓等级识别,BP神经网络的详细原理,神经网络1000案例之7

FPGA教程案例59深度学习案例6——基于FPGA的CNN卷积神经网络之整体实现

FPGA教程案例58深度学习案例5——基于FPGA的CNN卷积神经网络之图像缓存verilog实现

FPGA教程案例57深度学习案例4——基于FPGA的CNN卷积神经网络之卷积层verilog实现