1 引言
机器学习(Machine Learning,常简称为ML)是人工智能的核心研究领域之一
[1]。在过去20余年中,随着人类收集、存储、传输、处理数据能力的提升,亟需能够有效对数据进行分析利用的计算机算法,机器学习恰好响应了这个迫切需求,从而受到了广泛关注
[2]。机器学习的目标是开发一种能够通过积累的经验“学习”的计算方法
[3],涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科知识,已经在多媒体、图形学、网络通信等学科领域以及“生物信息学”等交叉学科中深度应用。
机器学习概念的提出已有较长历史,早在1950年图灵在关于图灵测试的文章中便有提及,随后在1956年,IBM的Arthur Samuel通过一款可以学习棋子走位并不断提高自身下棋技巧的西洋跳棋程序推翻了以往“机器无法超越人类、不能像人一样写代码和学习”的传统认识,正式提出了“机器学习”概念,即“机器学习是在不直接针对问题进行编程的情况下,赋予计算机学习能力的一个研究领域”。之后,随着技术的发展和学科的交叉,关于机器学习概念的修正讨论一直未断。时至今日,学术界对于机器学习尚无统一定义,普遍认为,机器学习处理系统和算法主要是通过找出数据里隐藏的模式进而做出预测的识别模式
[4]。
当前,机器学习技术已经在各行各业受到关注并得到广泛应用
[5,6,7],在此背景下,客观揭示机器学习技术的发展态势和创新格局,了解各国围绕机器学习的技术布局差异,对于开展机器学习技术研发、指引宏观决策具有现实意义。专利文献是技术创新成果的重要载体,能够有效反映技术研发的进展和趋势。因此,本文从专利分析的角度出发对机器学习技术开展分析,以期较为客观地呈现全球机器学习的技术布局现状和竞争格局。
2 数据及方法
2.1 技术分解和数据获取策略
随着技术的发展迭代,机器学习技术已经产生了诸多子技术和算法,分类角度也多种多样。为了更细致地揭示技术发展情况,本文参考世界知识产权组织发布的机器学习技术分解体系
[8]对机器学习技术进行了技术分解(如
表 1所示)。该技术分解体系有如下问题需要说明:虽然深度学习本身也是一种神经网络技术
[9],但是由于近年来受到高度关注
[10],因此单独进行分析;此外,当前包括神经网络、深度学习、强化学习、支持向量机等在内的很多技术均是有监督学习的人工智能算法
[2,11],但是本文对这些技术分支均专门进行了分析,因此有监督学习技术类别仅包括了明确提到有监督学习以及排序学习、代价敏感学习等其他学习方法的技术要素。基于该技术分解表,本文对于每个技术分支单独拟定了检索策略,以此来检索并获取数据。
本文所采用的专利数据来自incoPat专利数据库,数据范围为全球范围内优先权年在2000年及其之后布局的发明专利和实用新型专利,检索日期为2020年6月5日,最终通过简单同族合并后共获得专利312 254项。
2.2 研究方法
本研究基于专利计量分析方法,围绕通过检索获取的312 254项全球机器学习专利,从机器学习整体技术及其典型分支技术两个层面开展分析。如
图 1所示,主要分析维度包括专利布局整体态势、技术优势国家专利申请分析、技术优势机构专利申请分析、法律状态有效专利分析、近三年申请专利分析
1(
1 本文的近三年专利是指在2017年、2018年、2019年向专利管理部门提交的专利申请。)和四方专利
2(
2 本文的“四方专利”指同时在中国国家知识产权局、欧洲专利局、日本特许厅、美国专利与商标局提交专利申请的发明创造。)分析,力求较为全面地展示机器学习技术目前的专利布局态势和创新格局。本文采用Excel、Python等工具软件进行可视化展示,从而直观展示分析结果。
3 机器学习技术整体专利分析
3.1 专利布局整体态势
图 2展示了全球机器学习技术的专利布局年度趋势、技术布局优势国家和技术布局优势机构。
可以发现,自2000年以来,全球机器学习技术的专利布局呈现先平稳增长、后爆发式增长的趋势。2010年之前年度专利布局数量在3 000项至6 000项之间,2010年之后,增长幅度显著提升,尤其在2016年之后,年度增长量均在1万项以上。由于专利从申请到公开有一定时滞,2019年的数据可能略小于实际数据,但是也能反映出机器学习技术专利布局的活跃程度。
中国在机器学习方面的专利布局数量居全球首位,且较第2名的美国具有显著优势,2000–2019年的专利布局数量达14万余项。美国位列第2,布局67 763项,日本和韩国分别排在第3和第4位,布局数量分别为21 102项和14 169项。其他国家的专利布局数量均在1万项以下。
从机构层面看,美国IBM公司的专利布局数量位居全球首位,共布局5 959项,其次是中国国家电网公司和中国科学院。在专利布局数量排名前10位的机构中,有5家来自中国,分别是国家电网公司、中国科学院、中国平安、浙江大学和西安电子科技大学,3家来自美国,分别是IBM、微软和谷歌,此外还有德国的西门子公司和韩国的三星公司,分列第5和第6位。从机构类型看,TOP10机构中的国外机构均为企业,我国除企业外,还有1个科研院所和2所大学。
3.2 技术优势国家专利申请趋势分析
进一步对于全球TOP10专利布局国的专利布局年度进行分析,如
图3所示。可以发现,TOP10国家围绕机器学习技术的专利布局均呈现增长态势,其中中国的增长幅度最为显著,且保持持续增长态势,2019年布局专利数量达到42 893项。排名第二的美国同样呈现增长态势,但是近年来的增长有放缓之势,2017年和2018年的专利布局数量稳定在8 000项左右,与之类似的还有日本、韩国。除中国外,其他国家在2019年的专利数据均较低,这可能是由于专利申请到公开的时滞造成的。
3.3 全球优势机构专利申请趋势分析
对于全球TOP10专利布局机构的专利布局年度进行分析,如
图4所示。可以发现国外机构的专利布局呈现比较稳定的增长态势,如IBM、微软、西门子等公司均在持续布局机器学习技术的相关专利,且专利增长幅度并不明显;而国内机构的专利布局则主要集中在2012年之后,尤其是中国平安公司特征最为明显,在2018年布局了796项专利,数量较2017年增长了6.5倍,2012年之前仅中国科学院、浙江大学有较为持续稳定的专利布局行为,但是专利数量均在百项以下。
3.4 有效专利分析
专利具有法律属性,有效专利持有情况能够更有效地反映目标对象当前的技术实力。
表2展示了TOP 10技术布局国家的有效专利占比全球排名情况。可以发现,这些国家的专利数量排名和有效专利占比排名存在一定差异。专利布局量排名第4的韩国有效专利占比排名全球第1,专利布局量排名第1的中国有效专利占比排名全球第17,这可能是由于我国在机器学习的较多专利布局启动时间不长,大量专利仍旧处于审查阶段。
进一步对TOP10技术布局机构的有效专利占比全球排名情况进行分析,如
表3所示。可以发现美国的微软、谷歌和IBM占据了全球有效专利占比排名的前三,而大部分中国公司的有效专利占比排名低于专利数量排名,如专利总量排名第2的国家电网公司,其有效专利占比排名第24,排名第7的中国平安公司的有效专利占比排名第144,而专利总量排名第10的西安电子科技大学的有效专利占比排名则提升到了第5位。
3.5 近三年专利分析
通过对近三年的专利申请情况进行分析,能够识别最新的技术活跃者。
图5展示了机器学习技术近三年专利申请的优势国家和机构。可以发现,中国在近三年的专利申请数量上占据绝对优势,共申请专利99 324项,是排名第2的美国的5.2倍。同时,在优势机构方面,中国共有16家公司/科研院所/大学位列近三年专利申请量TOP20名单,包括国家电网公司、中国平安、中国科学院、腾讯、电子科技大学、浙江大学、天津大学、西安电子科技大学、百度、清华大学、华南理工大学、东南大学、广东工业大学、南京邮电大学、阿里巴巴和浙江工业大学,TOP20榜单上只有4家国外公司,包括美国的IBM(排名第3)、微软(排名第16)、谷歌(排名第19)以及韩国的三星(排名第14)。这在一定程度上反映了我国近年来对于机器学习技术的研发和应用的重视程度不断加大。
3.6 四方专利分析
一般从专利权人对技术重视程度的视角考虑,认为“四方专利”更具重要性。因此,以下从四方专利视角分析全球各国、各机构的重要专利布局情况,如
图6所示。
可以发现,四方专利的布局情况与整体专利布局情况存在差别。专利布局数量排名第3的日本其四方专利布局数量排名第1,而专利总量位居第1的中国其四方专利数量排名第5,这在一定程度上反映了我国机器学习的专利布局主要围绕本国保护。
从机构角度看,四方专利优势机构排名与整体专利布局优势机构和近三年专利布局优势机构排名差别较大。在四方专利TOP20机构中,排在第1位的是来自荷兰的飞利浦公司;其余机构以日本公司居多,包括索尼、松下、日本电气株式会社、欧姆龙株式会社、富士通、佳能、日立、东芝、三菱、丰田及日本电报电话公司(NTT)等共11家;此外,还有来自美国的6家公司,微软、高通、谷歌、IBM、美国通用电气公司和波音公司;中国仅有百度1家公司上榜,排名第13位。这在一定程度反映了我国机构的国际专利布局力度与国外机构的差距。
4 机器学习典型分支技术专利分析
4.1 各技术分支专利布局数量分析
图7展示了机器学习各分支技术的专利布局情况。可以看到,涉及通用机器学习技术的专利布局数量最多。其次是神经网络和深度学习,专利布局数量分别为69 380项和40 080项。由此可知,神经网络和深度学习技术是机器学习技术专利布局的主要技术方向。此外,强化学习、规则学习、基于实例学习、潜在表示、多任务学习、逻辑和关系学习技术的专利布局数量均在3 000项以下,受关注度相对较弱。因此,以下选择神经网络和深度学习作为典型子技术开展进一步的分析。
4.2 典型技术分支各国专利布局及有效专利占比分析
表4和
表5分别展示了神经网络和深度学习专利的全球TOP10布局优势国家。可以发现,在数量方面,无论是专利总量还是有效专利量,中国在两项技术上均排在全球首位,具有相对较大的专利优势;美国、韩国、日本和德国在两项技术上均分列第2、3、4、5位。从有效专利占比来看,韩国、美国和日本的有效专利占比相对较高,而中国的有效专利占比不像数量指标一样突出,但是考虑到前述“近三年专利分析”部分对于中国专利申请情况的分析可以推断,我国近期申请的机器学习专利很多还处于审查阶段,未来有效专利占比可能具有一定的成长性。
4.3 典型技术分支优势机构专利及有效专利分析
对神经网络和深度学习技术的全球专利布局量TOP20机构进行分析,如
图8所示。可以看到,我国的国家电网公司和中国科学院在两项技术的专利申请量方面均位居前两位。在神经网络技术方面,美国的谷歌和IBM公司、韩国的三星公司分列第3、4、5位;在深度学习技术方面,TOP10专利机构中仅1家国外机构,即排名第8的韩国三星公司,其余均为中国机构,第3至第7位分别是电子科技大学、中国平安、浙江大学、华南理工大学、天津大学,西安电子科技大学和清华大学排名第9和第10。
进一步对神经网络和深度学习技术的全球有效专利持有量TOP20机构进行分析,如
图9所示。我国机构的有效专利持有量较之整体专利布局量存在一定差距。美国IBM公司的有效专利持有量优势显著,神经网络技术全球排名第一,深度学习技术排名第二。在神经网络技术方面,美国的谷歌公司、微软公司、Adobe公司的有效专利持有量分别排在第2、5、10位,我国的中国科学院、清华大学、国家电网公司、百度、电子科技大学分别排在第3、4、6、7、9位;在深度学习技术方面,我国的科研机构和高校专利布局力度较大,中国科学院有效专利持有量排名首位,数量为171项,西安电子科技大学和清华大学分列第3、第5位,美国的IBM和谷歌公司分别排在第2和第4位。
4.4 典型技术分支近三年专利分析
对于神经网络和深度学习技术近三年专利申请的国别和机构分布情况进行分析,如
图10和
图11所示。与机器学习技术整体情况保持一致的是,中国这两项技术的近三年专利申请量均居全球首位,且较第2名的美国具有显著优势。在机构布局方面,国内机构近三年的专利申请情况表现抢眼,国家电网公司和中国科学院在两项技术上的专利申请量均排在前两位,尤其是深度学习技术领域,近三年专利申请TOP20机构中,国外机构仅有1家,即排在第9位的韩国三星公司;在神经网络技术领域,国外机构有4家,分别是韩国三星公司和美国IBM、谷歌和英特尔公司,分别排在第4、5、9和15位。
4.5 典型技术分支四方专利分析
图12和
图13展示了神经网络和深度学习技术的四方专利申请情况。可以发现,四方专利的布局态势与专利总量的布局态势差异较大。神经网络方面,美国、日本和韩国占据国家排名前3位,韩国三星、StradVision公司
3(
3 StradVision公司位于韩国首尔,专为自动驾驶汽车和高级驾驶员辅助系统(ADAS)提供视觉处理技术。)和美国高通公司占据机构排名前3位,而中国处于国家排名第4位,国内机构中百度公司排名最为靠前,处于机构排名第5位,此外还有北京地平线信息技术有限公司和腾讯公司,并列排名第15位。深度学习方面,日本、美国和德国占据国家排名前3位,德国拜耳、日本住友株式会社、韩国StradVision公司占据机构排名前3位,我国位于国家排名第5位,机构方面仅有百度公司进入TOP20榜单,排名第9位。
5 结论与分析
本文面向揭示机器学习技术专利布局态势的客观需求,基于全球范围内2000年以来布局的机器学习专利数据,从整体技术和典型分支技术两个层面,从专利申请趋势、有效专利持有情况、近三年专利布局情况以及四方专利布局情况等角度,对机器学习技术的专利布局进行分析,得到如下结论。
(1)全球机器学习技术专利布局整体呈现增长态势,2010年后增长态势明显,尤其在2016年之后,年度增长量均在1万项以上。
(2)我国在机器学习方面的专利布局数量居全球首位,较第2名的美国具有显著优势,且保持持续增长势头;同时,国内机构的专利储备数量已初具规模,尤其近年来专利布局力度显著提升。
(3)从有效专利持有情况看,我国的有效专利持有数量在全球范围内表现不够突出,有效专利占比全球排名第17位,TOP10专利布局优势机构的有效专利占比排名相较专利数量排名下滑较大,这在一定程度上表明我国在机器学习方面的专利布局质量还有待提升。
(4)从近三年专利布局情况看,中国近三年的专利申请占据绝对优势,共申请99 324项,是排名第2的美国的5.2倍;同时,中国机构表现抢眼,共有16家公司/科研院所/大学排在近三年专利申请TOP20名单中。
(5)从四方专利布局情况看,我国的专利布局主要围绕本国保护,四方专利布局量全球排名第5,国内机构仅有百度公司进入四方专利布局TOP20机构榜单,而日本有11家公司上榜。
(6)从分支技术看,除机器学习通用技术外,神经网络和深度学习技术是机器学习技术中专利布局最为密集的分支技术,其次是分类和回归树、无监督学习。
(7)我国在神经网络和深度学习技术的专利布局方面已经建立了一定专利优势,专利布局总量、有效专利数量和近三年专利布局量在全球范围内均具有较大优势,但是,在以四方专利为代表的国际专利布局方面,距离美国、日本、韩国等国家还有一定差距,国际化视野有待进一步拓宽。