概述
深度学习是一种人工智能(AI)技术,用来训练计算机以模拟人脑的算法处理数据。
什么是深度学习?
深度学习使用人工智能和机器学习(AI/ML)帮助数据科学家收集、分析和解析大量数据。深度学习(也称为深度神经学习或深度神经网络)会让计算机通过观察,学习、模仿人类获取知识的方式。
人脑中有很多相互连接的神经元,当大脑处理信息(或数据)时,这些神经元就负责传递信息。神经元之间通过电信号和化学物质相互作用,并在大脑的不同区域之间传递信息。
人工神经网络(ANN)是模仿这种生物学现象而构成的,是深度学习所依托的底层架构,然而,ANN 使用的是人工神经元而不是生物神经元,这些人工神经元是由称为节点的软件模块构成的。这些节点使用数值计算(而不是大脑中的化学信号)来进行通信和传递信息。模拟神经网络(SNN)通过聚类数据点进行预测的方式来处理数据。
为了便于理解,我们可以将深度学习想象为某种流程图,它从输入层开始,到输出层结束。夹在这两层之间的是“隐藏层”,负责加工处理不同级别的信息,并随着不断接收新数据而调整和适应它们的行为。深层学习模型可以拥有数百个隐藏层,每个隐藏层都在数据集中发现关系和模式方面发挥作用。
输入层由多个节点组成,从输入层开始,数据被引入模型并根据分类规则进行分类,然后向下一层传递。数据在每一层中的路径是基于为每个节点设置的计算规则确定的。数据通过每一层向前传递,模型会从数据中提取出观察结果或有意义的信息,并形成最终的输出或数据分析结果。
深度学习应用
搭载深度学习技术的应用已经融入到我们生活的方方面面,并且也已用在了各行各业。目前,为许多 AI 工具提供支持的生成式人工智能也可以通过深度学习实现。
深度学习的用例范围一直在不断扩展,但如今最流行的三大技术,当属计算机视觉、语音识别和自然语言处理(NLP)。
- 计算机视觉:计算机可以使用深度学习技术像人类一样来理解图像。这意味着计算机可以实现自动内容审核、面部识别和图像分类。
- 语音识别:音调、语气、语言和口音都可以通过深度学习模型进行分析。这不仅可以用来改善客户体验,还有助于在需要实时转录的场景中,帮助有语言障碍的人士更好地参与和理解。
- 自然语言处理(NLP):计算机使用深度学习算法来分析和收集文本数据和文档中的信息。这有助于总结长文档、索引表示情感的关键短语(例如正面或负面评论)以及为自动化虚拟助手和聊天机器人生成见解的功能。NLP 是更广泛的领域,包括开发和应用大型语言模型(LLM)以理解和生成人类语言。
下面是各个行业如何利用深度学习原理的一些示例:
- 客户服务:聊天机器人、虚拟助手和拨入式客户服务门户利用语音识别等工具。
- 金融服务:预测分析可推动股票的算法交易,评估贷款审批的业务风险,检测欺诈行为,并帮助管理信贷和投资组合。
- 医疗卫生:通过图像识别应用和深度学习技术,医学影像专家可以利用数字化的医疗记录和医学影像数据来支持和改进医学诊断过程,提供更精确和高效的医疗服务。了解 HCA 医疗公司如何使用预测分析来建立标准化的脓毒症数字化检测方法。
- 媒体和娱乐:从网上购物到流媒体服务,跟踪用户活动及开发个性化推荐也应用到了深度学习。
- 工业自动化:在工厂和仓库中,深度学习应用可以自动检测人或物体何时处于机器的安全距离之外,或者可以协助质量控制或预测性维护。
- 自动驾驶汽车:汽车行业研究员使用深度学习来训练汽车检测停车标志、红绿灯、人行横道和行人等物体。
- 执法:语音识别、计算机视觉和自然语言处理(NLP)有助于分析大量数据,从而节省时间和资源。
- 航空航天和军事:深度学习技术可以用来在监控的大片地理区域中检测物体,从远处识别需要关注的区域,并为部队验证安全或不安全区域。
红帽与 IBM 合作创建了搭载 IBM watsonx Code Assistant 的红帽® Ansible® Lightspeed,这是一种生成式人工智能服务,可协助开发人员更加高效地创建 Ansible 内容。
深度学习与机器学习有什么关联?
深度学习是机器学习的一种特殊形式,两者的区别在于其所处理的数据类型和学习方法。
经典的机器学习算法需要人工干预,先对数据集进行预处理,然后再将其导入模型。这意味着人要在模型的输入数据中定义和标记特定特征,并组织到表格中,然后再将其导入机器学习模型。相反,深度学习算法不需要这种级别的预处理,并且能够理解非结构化数据,例如文本文档、像素数据图像或音频数据文件。
在有大量数据,却缺乏相关主题的背景知识或手头有复杂耗时的任务的情况下,深度学习可能优于经典机器学习。
要考虑的偏差和方差的问题
我们知道,深度学习是利用人工神经网络中相互通信的节点结构来实现的。要想建立一个 ANN,必须将计算和参数与我们提供的数据一起导入模型,并且必须采取预防措施,以确保这些计算将偏差和方差考虑在内。
在机器学习中,偏差是指模型对数据做出假设或泛化的程度,其目的是使目标函数更容易学习。高偏差意味着模型在处理信息时(往错误的方向)进行了简化,走了“捷径”。
方差是衡量每个数据点与平均值相差的度量值,或对数据集中数字间分布的统计测量。与偏差相反,方差是指模型对训练数据的敏感程度。高方差(或敏感度)意味着模型过于关注细节,而忽略了数据集中的基础模式。
在机器学习模型中,当方差太高而偏差太低时,称为过拟合。当偏差高而方差低时,称为欠拟合。创建完美拟合并不容易,这种现象通常称为偏差-方差权衡(Bias-variance Tradeoff)。
参数定义边界,而边界对于理解深度学习算法必须处理的大量数据至关重要。这意味着,过拟合和欠拟合通常可以分别通过使用更少或更多的参数来纠正。
考虑人类相关的偏见
如果深度学习模型使用的训练数据存在统计学上的偏差,或者不能准确表示总体,则输出就可能存在缺陷。不幸的是,现有的人类偏见通常会传导到人工智能上,从而带来歧视性算法和偏见输出的风险。
随着越来越多的企业利用人工智能来提高生产力和性能,至关重要的是制定相关策略,来尽量减少偏见。这要一开始就有包容性的设计,并且要更深远地考虑对所收集的数据是否代表足够的多样性。
什么是黑匣子?
“黑匣子”是指人工智能程序在其神经网络中执行任务并且不显示其工作的状态。这就会造就一种情况——没有人(包括创建算法的数据科学家和工程师)能够准确解释模型如何获取特定的输出。黑匣子模型缺乏可解释性,所以将其用于高风险决策时可能会产生严重后果,尤其是在医疗卫生、刑事司法或金融等行业。
在云中进行深度学习有什么好处?
深度学习模型能够在没有人工干预的情况下执行更复杂的计算任务,但这意味着其需要更强大的处理能力、足够的基础架构和更广泛的训练数据集。云计算可允许团队一次访问多个处理器,例如 GPU(图形处理单元)和 CPU(中央处理单元)集群,这为执行复杂的数学运算创造了理想的环境。
在云上设计、开发和训练深度学习模型,开发团队可以快速准确地扩展和分配工作负载,同时降低运维成本。
边缘的深度学习和机器学习
在云中工作为边缘机器学习开辟了可能性。通过建立连接到公共云资源的边缘计算中心,可以实时获取和分析信息,从而在各种操作中提供帮助,包括供应链状态更新和灾难疏散地点信息等。
红帽能如何提供帮助?
红帽可为团队奠定共同的基础,以便构建和部署具有透明度和控制力的 AI 应用和机器学习(ML)模型。
红帽® OpenShift® AI 是一个平台,可以针对您的独特用例使用您自己的数据来训练、即时调整、微调和提供 AI 模型。
对于大型 AI 部署,红帽 OpenShift 提供了一个适合 AI 工作负载的可扩展应用平台,并以主流的硬件加速器来加以完善。
此外,红帽还在利用自己的红帽 OpenShift AI 工具来提升其他开源软件的实用性,首先就与 IBM watsonx Code Assistant 联合推出了红帽 Ansible® Lightspeed。该服务帮助自动化团队更高效地学习、创建和维护 Ansible 内容。它接受用户输入的提示,然后与 IBM watsonx 基础模型交互,产生代码建议,随后这些代码建议用于创建 Ansible Playbook。
此外,红帽的合作伙伴集成有利于形成由众多可信 AI 工具构成的生态系统,与开源平台搭配使用。