人工智能技术原理-联通智能人工服务
前言
六深律师事务所人工智能团队成立于2017年6月,由具有计算机或相关领域技术背景和丰富知识产权经验的律师组成。 团队自成立以来,一直致力于研究中国及其他一些在人工智能领域相对活跃的国家和地区的人工智能产业发展、政府对人工智能研究和应用的政策支持和法规,以及人工智能法律与实践等方面的知识产权保护。刘深人工智能团队的研究成果包括专题报告《人工智能专利保护(2018)》和《人工智能专利保护(2019)》,文章选编《人工智能知识产权保护》在其他国家关于人工智能知识产权保护的相关文章和演讲中。
本《人工智能知识产权保护(2021)》报告由刘深人工智能团队就中国及几个主要国家和地区(美国、欧洲、日本、韩国)的人工智能知识产权保护情况研究撰写而成) 该报告旨在帮助相关企业和知识产权从业者了解人工智能相关产业发展和知识产权保护的各个角度。
01
第一章人工智能技术概述
第一章人工智能技术概述
1.1 人工智能的诞生与发展
如果最早出现“人工智能(AI)”一词来标志现代人工智能学科的诞生,那么应该是1955年(发起)至1956年(召开)的美国达特茅斯会议。 在达特茅斯人工智能会议期间,一般认为是由会议召集人约翰·麦卡锡正式提出的[1]。 本次会议的目的是汇集志同道合的人一起讨论“人工智能”。 在会议提案中,麦卡锡等人表示,“我们建议 1956 年夏天在新罕布什尔州汉诺威的达特茅斯学院由 10 个人进行为期 2 个月的人工智能研究。该研究基于:假设每个学习的方面,或智能的任何其他特征,原则上可以被描述得足够精确,以至于可以被机器模拟。将尝试找到如何让机器使用语言、形成抽象和概念,并解决现在留给它们的各种问题[2]”会议持续了一个月,基本上集中在大规模的头脑风暴上。这催生了后来被称为人工智能革命。
2006 年,会议各方在达特茅斯重聚
左起:摩尔、麦卡锡、明斯基、塞弗里奇、所罗门诺夫
人工智能诞生后,一度陷入低谷。 70、80年代,由于无法完成大规模数据和复杂任务,计算能力无法突破,人工智能的发展在70年代陷入“寒冬”。 1980年,卡内基梅隆大学(CMU)研制的XCON正式投入使用,成为一个新时代的里程碑。 专家系统开始在特定领域发挥威力,也带动了整个人工智能技术进入繁荣阶段。
人工智能经历了半个多世纪的发展,涌现出许多影响深远的技术、学者、公司和产品,涌现出许多不同的学派。 目前人工智能主要有3个流派:
(1)符号主义(Symbolicism)又称逻辑主义、心理学派或计算机派,其原理主要是物理符号系统(即符号操作系统)的假设和有限理性原理。
(2)连接主义,又称仿生学派或生理学派,其主要原理是神经网络以及神经网络之间的连接机制和学习算法。
(3)行动主义,又称进化论或控制论,其原理是控制论和“知觉-行动”控制系统。 行为主义学派认为,行为是生物体为适应环境变化而进行的各种生理反应的组合,其理论目标是预测和控制行为。
图 1.1-1
符号主义将所有信息简化为操作符号,就像数学家为了理解方程式,用其他表达式代替原始表达式一样。 当前的大多数 AI 都是基于符号的。 在工业时代,这一流派获得了很多风头,因为标准化流程最容易使用符号主义流派的人工智能设计。 象征主义最具代表性的例子之一就是IBM的深蓝,它打败了人类象棋冠军,让人类第一次意识到人工智能发展的恐怖。
符号学长期兴盛,为人工智能的发展做出了重要贡献,特别是专家系统的成功开发和应用,对人工智能走向工程应用,实现理论与实践的联系具有重要意义。实践。 后来发现象征主义也有缺点。 决策需要知识,很多与直觉相关的知识不容易用符号推理表达,需要计算机从数据中学习。
1986年,美国心理学家大卫·鲁梅尔哈特(David Rumelhart)等人提出了多层网络中的反向传播算法(也称为反向微分模式)。 自动微分))。 此后,联结主义势头迅猛,从模型到算法,从理论分析到工程实现,为神经网络计算走向市场奠定了基础。
而现在,加拿大计算机科学家约书亚·本吉奥 (Yoshua Bengio) 做了一件神奇的事情——他领导着一个团队,利用深度学习重振符号人工智能。
行为主义者认为学习是刺激和反应之间的联系,他们的基本假设是行为是学习者对环境刺激的反应。 学习过程是一个循序渐进的试错过程,强化是学习成功的关键。 在行为主义学派中,我们可以看到深度学习模型,在现实中,机器人交互是行为主义的方式,不断接受反馈,在学习中进化。 行为主义最具代表性的例子之一就是谷歌的DeepMind智能系统AlphaGo,它在2016年3月以4比1的总比分击败了世界围棋冠军、韩国职业九段棋手李世石,轰动了全世界。 2017年5月23日至27日,世界排名第一的华人棋手柯洁与AlphaGo展开了三局“人机大战2.0”对局。 柯洁0:3落败。
目前最为活跃和流行的深度学习和深度神经网络属于联结主义; 而上世纪第二次产业浪潮中同样流行的知识图谱和重要的专家系统,都是符号主义的成果; 学说的贡献主要体现在机器人控制系统方面。
21世纪第二个十年,随着移动互联网、大数据、云计算、物联网技术的爆发,人工智能技术也进入了新的融合时代,从AlphaGo打败李世石,到微软的语音识别技术超越人类,从谷歌的自动驾驶汽车、波士顿动力的机器人,到遍地开花的智能音箱,再到每个人手机里的神经网络芯片和智能程序,人工智能已经从无形发展到有形,伴随着每个人的生产生活半个多世纪。 昔日科学家描绘的美好图景,正在一步步被人工智能技术所实现。
[1] 麦卡锡晚年回忆说,“人工智能”这个词是听别人说的,不是原创的。 人工智能来源于机器智能,它最早是由图灵在美国国家物理实验室(NPL)的一份内部报告《智能机械》(Intelligent Machinery)中提出的。 根据维基百科,这两个术语是同义词。
[2] 参见达特茅斯 AI 提案,J. McCarthy 等人,1955 年 8 月 31 日
1.2 人工智能定义及技术现状
1.2.1 人工智能的定义
概括地说,人工智能是一门关于知识的学科,是一门关于如何表示知识、获取知识和使用知识的科学。 从人工智能实现的功能定义,是指智能机器执行的通常与人类智能相关的功能,如判断、推理、证明、感知、识别、理解、设计、学习、思考、计划和解决问题等。其他思维活动。 这些反映了人工智能学科的基本思想和基本内容,即人工智能是研究人类智能活动规律的学科。 从实践的角度来看,人工智能是一种知识工程:以知识为对象,研究知识的获取、表示和使用,如下表所示。
图 1.2.1-1
在人工智能领域,机器学习、深度学习和神经网络是使用频率最高的三个技术概念。 简而言之,机器学习是一种实现人工智能的方法; 深度学习是通过多层神经网络结构结合学习算法实现机器学习的方法。 人工智能与三者的关系,以及相关概念的介绍,如下图所示。
图 1.2.1-2
1.2.2 人工智能专用系统
按照人工智能的专业化程度,如下图所示,人工智能可以分为专业化人工智能和综合型人工智能两种,具体来说:
专业人工智能:只完成基本的、基于角色的任务;
集成人工智能:完成涉及机器持续学习的人类任务;
图 1.2.2-1
从目前人工智能的应用场景来看,目前的人工智能仍然是基于特定应用领域的专业化人工智能。 人工智能改造。
1.2.2.1 机器学习
机器学习是人工智能的一个分支。 该领域的主要研究对象是如何设计、分析和改进自动学习算法。 上述定义中“自动学习”的概念是指不需要直接对计算机进行编程来识别某些特征,而是计算机可以像人脑一样自动分析并从数据中获取规律人工智能技术原理,从而实现利用预测未知特征的规律。 算法。
在机器学习领域,主要有四种学习方法:
图 1.2.2.1-1
监督学习:
学习带有概念标签的训练样本,尽可能对训练样本集之外的数据进行标签预测。 对于监督学习,所有标签都是已知的。 因此,训练样本的模糊性较低。 如果监督学习算法的输出是连续的,则称为回归; 如果它是离散的,则称为分类。
无监督学习:
学习是在没有概念标签的训练样本上进行的,以发现训练样本集中的结构知识。 对于无监督学习,所有标签都是未知的。 因此,训练样本的模糊性很高。 聚类是一种典型的无监督学习。
半监督学习:
使用标记和未标记的样本进行训练和分类。 自动利用未标记的数据来学习在整个数据分布中具有很强泛化能力的模型。 整个学习过程不需要人为干预,完全基于学习系统自身对未标记数据的利用。
强化学习:
系统从环境到行为映射的学习使得奖励信号(强化信号)函数值最大化。 即先观察再行动。 每个动作都会对环境产生影响,然后环境会以奖励的形式提供反馈来指导学习算法。
图 1.2.2.1-2
1.2.2.2 神经网络
神经网络是模仿生物神经网络结构和功能的数学模型或计算模型,用于估计或逼近函数。 神经网络由大量人工神经元连接计算而成。 在大多数情况下,人工神经网络可以根据外部信息改变内部参数,是一个自适应系统。 该结构包含连接的节点,可以解决复杂的问题并像人脑中的神经元一样学习。
神经网络主要分为单层神经网络和多层神经网络。 下面分别介绍。
单层神经网络:
图 1.2.2.2-1
上图1.2.2.2-1是单层神经网络,是神经元网络最基本的形式。 它由两层输入和输出神经元构成,可以解决简单的线性问题,例如“与、或、非”。
多层神经网络:
图 1.2.2.2-2
上图1.2.2.2-2是多层神经网络,可以理解为单层神经网络的堆叠。 第一层神经网络(图中的输入层)将大量的矩阵数作为输入,通过非线性激活方法对多个输入取权值,然后生成另一个数据集作为第二层神经网络(图中隐藏层1的输入),第二层神经网络根据这个输入进行类似于第一层神经网络的操作,以此类推。 它的工作原理就像一个生物神经大脑。 它采用学习算法,通过适当数量的矩阵和多层组织,从大量训练样本中学习关于特征的统计规律,从而预测未知事件,形成神经网络。 “大脑”进行精确而复杂的处理。
在多层神经网络中,输入层和输出层之间有多个隐藏层。 每个隐藏层都可以理解为一个特征层级,每个神经元同样可以理解为一个特征属性。
1.2.2.3 深度学习
浅层学习
2006年之前,机器学习还处于浅层学习阶段。 当时的神经网络虽然也被称为多层神经网络,但通常只有一层隐藏层,限制了特征的多层次学习。
深度学习
深度学习是通过训练一个多层的神经网络结构来获得关联的权重,从而使数据通过网络自动获得更具体的含义,可以直接用于图像分类、语音识别、自然语言理解等。 具体来说,深度学习利用包含复杂结构或多次非线性变换的多个处理层,对数据进行高层抽象人工智能技术原理,接近当前人脑模型,符合人类层次组织的概念,从简单到复杂的抽象认知过程,可以模拟人脑从外界环境中学习、理解甚至解决歧义的过程。
深度学习领域进步最直观的体现就是ImageNet大规模视觉识别挑战赛(ILSVRC),包括分类与定位、图像目标检测、视频目标检测、场景识别与分割等比赛。
图1.2.2.3-1
上图1.2.2.3-1是一张ILSVRC比赛年份和分类错误率的图表。 从上图可以看出,2012年之前,比赛的分类错误率很难突破25%; 2012年引入深度学习后,分类错误率急剧下降至16.4%,这标志着传统视觉方法开始被深度模型取代; 2015年冠军的分类错误率低至3.57%,首次低于人类测试结果5%。
1.2.3 人工智能的技术分层
从技术分层来看,人工智能可分为基础设施层、技术层和应用层。 基础设施层最接近“云”,而应用层最接近“端”。 如下图1.2.3-1所示。
图1.2.3-1
基础设施层:
基础设施层(基础支撑层)是人工智能的核心载体,其中算力、算法(及框架)、数据是人工智能产业发展的三大要素。
计算能力
大数据、云计算、GPU/FPGA等硬件加速、神经网络芯片等计算能力提供商;
数据
各行业、各场景的一手数据,如:身份、医疗、购物、交通信息
算法和框架
TensorFlow、Caffe、Theano、Torch、DMTK、DTPAR、ROS等框架或操作系统
深度学习的各种算法
技术服务层:
建立在基础设施层之上的是技术服务层(通用技术层),最基础的通用技术包括计算机视觉、语音识别、自然语言理解等。
计算机视觉
计算机视觉是指利用计算机代替人眼对目标进行识别、跟踪和测量,并进一步进行图形处理,处理成更适合人眼观察或传送给仪器检测的图像。 计算机视觉识别技术可以进一步细分为物体识别、物体属性识别和物体行为识别三类。 物体识别包括:字符识别、人体识别、物体识别; 物体属性识别包括:形状识别、方位识别; 物体行为识别包括:运动识别、运动识别和行为识别。
语音识别
语音识别是一种以语音为研究对象,经过信号处理和识别技术,机器自动识别出人类的口头语言后,将语音信号转换成相应文本或命令的技术。 语音识别、语音合成、自然语言理解、语义网络相结合的语音交互技术正逐渐成为多渠道、多媒体智能人机交互的主要方式。
自然语言理解
自然语言理解是指利用计算机模拟人类语言交流过程,使计算机能够理解和使用人类社会的自然语言,实现人与计算机之间的自然语言交流,从而代替人类的一部分的研究。脑力劳动,包括查询信息、回答问题等。提问、摘录、整理资料,以及对自然语言信息的所有处理。
计算机视觉、语音识别、自然语言理解这三种技术有着共同的技术流程。 具体来说,这个过程分为训练和预测两部分:
训练部分是指利用学习算法对训练样本进行特征选择和提取,以训练分类器模型; 预测部分是指使用训练好的分类器对输入进行特征检测、判断和筛选。
图 1.2.3-2
应用层
建立在技术服务层之上的是应用层,包括应用平台和解决方案,如下表所示。
应用平台
从深挖技术入手,拓展应用平台。 例如:行业应用分发及运营平台、机器人运营平台、机器人视觉开放平台。
解决方案
基于场景或行业数据,开发大量细分场景应用。例如:智能广告、智能诊断、自动写作、识别、智能投顾、智能助手、无人车等场景应用
1.3 人工智能发展趋势
1.3.1 瓶颈与高潮
按照麦卡锡的划分,如果排除控制论机器的兴起,现代人工智能学科正处于二次发展的高潮。 没有哪个学科像人工智能那样在相对较短的几十年内经历过如此剧烈的起伏。 这是因为人工智能的每一次衰落和兴起,都是因为科技预期目标遇到瓶颈,出现了新的技术手段来解决以前无法解决的问题。 比如在这波浪潮中,深度学习解决了以前神经网络无法解决的语音和图像问题。 随后。 标志着以强化学习为核心算法的AlphaGo再次战胜李世石和柯洁,就像人们记忆中的“深蓝”击败卡斯帕罗夫一样。 再比如逻辑学派,知识图谱的进步已经完全超越了专家系统的范畴。
AI 开发人员不断地回答曾经属于哲学家和科幻作家领域的假设性问题,其中一些是 AI 和公众最关心的问题。 科学和工程工具使回答这些问题成为可能,但高期望并不一定会导致经济泡沫。 如果按照对人工智能技术发展的贡献程度来排序,研究中心应该还是以“算力”、“数据”和“算法”为主。 没有足够的计算能力,就没有办法处理海量数据,很多算法的本质都是基于某些特定的硬件。 每当计算能力达到某个临界点时,就会使得相应的学习算法成为可能。
1.3.2 预测和趋势
进入21世纪第三个十年,无论是人工智能技术本身的发展,还是其应用层面的解决方案都日趋成熟,全球范围内的AI模型公司和AI数据公司都在将AI模块集成在一起,使得人工智能成为可能。人工智能“产业化”生产和应用,助力各行各业赋能升级转型的终极目标。 这在人工智能解决方案在金融、医疗和教育等领域的应用中尤为明显。
人工智能硬件
AI芯片日趋成熟,已经进入商用化准备阶段。 低成本、专业化、系统集成,使神经网络处理单元(NPU)成为下一代终端侧CPU芯片组的基本模块之一。 未来,越来越多的终端侧CPU芯片设计正在开展,以兼容深度学习为核心支撑的新芯片规划。 此外,由此产生的计算机体系结构和支持人工智能训练和预测计算的新异构设计思想将被重新定义。
深度学习和 AutoML
作为近年来业界公认的最有效的算法技术之一,基于深度学习的开源平台大大降低了相关人工智能技术的开发门槛,有效提升了人工智能在特定应用领域的质量和效率。人工智能。 自动化机器学习为传统机器学习构建了一个自动化学习过程。 基于元知识,自动选择合适的数据,优化模型结构,配置构建自训练模型,大大降低了机器学习的成本和周期,使人工智能应用在各个业务领域迅速普及。
5G 和物联网
随着5G通信技术和万物互联IoT技术的发展,边缘计算的能力将突破云计算中心的边界,普及到万物。 将人工智能技术与物联网技术相结合的AIoT系统将使物联网无需人工参与即可自动学习和执行任务,从而提供最佳的安全性和最佳的用户体验。 人工智能将作为一种服务出现在各行各业,出现在每个人的生活中。
量子计算
无论是“超级计算”还是“超级智能”,这个维度(指知识和计算能力)都不可能在近期内实现,人工智能的“奇点”似乎仍然遥不可及。 但“量子计算”或许能为人工智能的发展带来新一轮的爆发。 可编程的中等规模噪声量子计算设备已初步具备纠错功能,最终将能够运行具有一定使用价值的量子算法,这将极大地促进量子人工智能的实际应用。
标准与道德
我们看到通信技术已经发展到第五代(5G),并期待着第六代(6G)。 然而,人工智能技术的相关标准尚未出现。 事实上,随着新冠疫情的爆发和蔓延,给各行各业带来了诸多挑战和压力。 大量员工在家远程工作。 人们正在转向人工智能来改善利益相关者的用户体验。 就这样,全球人工智能伙伴关系等国际伙伴关系从幕后走向前台,聚焦“如何确保使用人工智能解决重大全球性问题,确保包容性和多样性”以及“公平和数据透明”。 与此同时,关于人工智能的伦理问题也越来越成为讨论的焦点。
这篇文章的作者
六深律师事务所