什么是深度学习?Deep Learning 入门

复制 URL

深度学习是一种人工智能(AI)技术,用来训练计算机以模拟人脑的算法处理数据。

探索红帽 AI

深度学习使用人工智能和机器学习(AI/ML)帮助数据科学家收集、分析和解析大量数据。深度学习(也称为深度神经学习或深度神经网络)会让计算机通过观察,学习、模仿人类获取知识的方式。

人脑中有很多相互连接的神经元,当大脑处理信息(或数据)时,这些神经元就负责传递信息。神经元之间通过电信号和化学物质相互作用,并在大脑的不同区域之间传递信息。

人工神经网络(ANN)是深度学习所依托的底层架构,是模仿这种生物学现象采用人工神经元构成的,这些人工神经元由称为节点的软件模块构成。这些节点使用数值计算(而不是大脑中的化学信号)来进行通信和传递信息。模拟神经网络(SNN)通过聚类数据点进行预测的方式来处理数据。

为了便于理解,我们可以将深度学习想象为某种流程图,它从输入层开始,到输出层结束。夹在这两层之间的是“隐藏层”,负责加工处理不同级别的信息,并随着不断接收新数据而调整和适应它们的行为。深层学习模型可以拥有数百个隐藏层,每个隐藏层都在数据集内发现关系和模式方面发挥作用。

输入层由多个节点组成,从输入层开始,数据被引入模型并根据分类规则进行分类,然后向下一层传递。数据在每一层中的路径是基于为每个节点设置的计算规则确定的。数据通过每一层向前传递,模型会从数据中提取出观察结果或有意义的信息,并形成最终的输出或数据分析结果。

红帽资源

搭载深度学习技术的应用已经融入到我们生活的方方面面,并且也已用在了各行各业。目前,为许多 AI 工具提供支持的生成式 AI 也可以通过深度学习实现。

深度学习的用例范围一直在不断扩展,但如今最流行的三大技术,当属计算机视觉、语音识别和自然语言处理(NLP)。

  • 计算机视觉:计算机可以使用深度学习技术像人类一样理解图像。这意味着计算机可以实现自动内容审核、面部识别和图像分类。
  • 语音识别:音调、语气、语言和口音都可以通过深度学习模型进行分析。这不仅可以用来改善客户体验,还有助于在需要实时转录的场景中,帮助有语言障碍的人士更好地参与和理解。
  • 自然语言处理(NLP):计算机使用深度学习算法来分析和收集文本数据和文档中的信息。这对于以下功能有所助益,总结长文档、将表示情感的关键短语(例如正面或负面评论)编入索引,以及为自动化虚拟助手和聊天机器人生成见解。NLP 是更广泛的领域,包括开发和应用大语言模型(LLM)以理解和生成人类语言。
     

下面是各个行业如何利用深度学习原理的一些示例:

  • 客户服务:聊天机器人、虚拟助手和拨入式客户服务门户网站利用语音识别等工具。
  • 金融服务:预测分析可推动股票的算法交易,评估贷款审批的业务风险,检测欺诈行为,并帮助管理信贷和投资组合。
  • 医疗卫生:通过图像识别应用和深度学习技术,医学影像专家可以利用数字化的医疗记录和医学影像数据来支持和改进医学诊断过程,提供更精确和高效的医疗服务。了解 HCA 医疗公司如何使用预测分析来建立标准化的脓毒症数字化检测方法。
  • 媒体和娱乐:从网上购物到流媒体服务,跟踪用户活动及开发个性化推荐也应用到了深度学习。
  • 工业自动化:在工厂和仓库中,深度学习应用可以自动检测人或物体何时处于机器的安全距离之外,或者可以协助质量控制或预测性维护。
  • 自动驾驶汽车:汽车行业研究员使用深度学习来训练汽车检测停车标志、红绿灯、人行横道和行人等对象。
  • 执法:语音识别、计算机视觉和自然语言处理(NLP)有助于分析大量数据,从而节省时间和资源。
  • 航空航天和军事:深度学习技术可以用来在监控的大片地理区域中检测物体,从远处识别需要关注的区域,并为部队验证安全或不安全区域。

探索 AI/ML 用例

深度学习是机器学习的一种特殊形式,两者的区别在于其所处理的数据类型和学习方法。

经典的机器学习算法需要人工干预,先对数据集进行预处理,然后再将其导入模型。这意味着人要在模型的输入数据中定义和标记特定特征,并整理到表格中,然后再将其导入机器学习模型。相反,深度学习算法不需要这种级别的预处理,并且能够理解非结构化数据,例如文本文档、像素数据图像或音频数据文件。

如果有大量数据,但缺乏相关主题的背景知识或手头有复杂耗时的任务,深度学习可能优于经典机器学习。

我们知道,深度学习是利用人工神经网络中相互通信的节点结构实现的。要想建立一个 ANN,必须将计算和参数与我们提供的数据一起导入模型,并且必须采取预防措施,以确保这些计算将偏差和方差考虑在内。

在机器学习中,偏差是指模型对数据做出假设或泛化的程度,其目的是使目标函数更容易学习。高偏差意味着模型在处理信息时(往错误的方向)进行了简化,走了“捷径”。

方差是衡量每个数据点与平均值相差的度量值,或对数据集内数字间分布的统计测量。与偏差相反,方差是指模型对训练数据的敏感程度。高方差(或敏感度)意味着模型过于关注细节,而忽略了数据集内的基础模式。

在监督学习中,当方差太高而偏差太低时,称为过拟合。当偏差高而方差低时,称为欠拟合。创建完美拟合并不容易,这种现象通常称为偏差-方差权衡(Bias-variance Tradeoff)。

参数定义边界,而边界对于理解深度学习算法必须处理的大量数据至关重要。这意味着,过拟合和欠拟合通常可以分别通过使用更少或更多的参数来纠正。

考虑人类相关的偏见

如果深度学习模型使用的训练数据存在统计学上的偏差,或者不能准确表示总体,则输出就可能存在缺陷。不幸的是,现有的人类偏见通常会传导到人工智能上,从而带来歧视性算法和偏见输出的风险。

随着越来越多的企业组织利用 AI 来提高生产力和性能,至关重要的是制定相关策略,从而尽量减少偏见。这首先需要包容性的设计流程,还要更深远地考虑所收集的数据是否代表足够的多样性。

什么是黑匣子?

“黑匣子”是指 AI 程序在其神经网络中执行任务并且不显示其工作的状态。这就会造就一种情况,没有人(包括创建算法的数据科学家和工程师)能够准确解释模型如何得出特定的输出。黑匣子模型缺乏可解释性,因此将其用于高风险决策时可能会产生严重后果,尤其是在医疗卫生、刑事司法或金融等行业。 

深度学习模型能够在没有人工干预的情况下执行更复杂的计算任务,但这意味着其需要更强大的处理能力、足够的基础架构和更广泛的训练数据集。云计算可允许团队一次访问多个处理器,例如 GPU(图形处理单元)和 CPU(中央处理单元)集群,这为执行复杂的数学运算创造了理想的环境。

在云上设计、开发和训练深度学习模型,开发团队可以快速准确地扩展和分配工作负载,同时降低运维成本。

 

边缘的深度学习和机器学习

在云中工作为边缘机器学习开辟了可能性。通过建立连接到公共云资源的边缘计算中心,可以实时获取和分析信息,从而在各种操作中提供帮助,包括供应链状态更新和灾难疏散地点信息等。 

借助红帽® AI,团队可以受益于上文所述的计算机视觉、语音识别、自然语言处理等技术。

我们的 AI 产品组合筑基于深受客户信赖的红帽解决方案。有了这种稳健的基础,我们的产品就始终可靠、灵活且可扩展。

红帽 AI 可以帮助企业组织做到以下几点:

  • 快速采用 AI 并进行创新。
  • 拆解交付 AI 解决方案的复杂流程。
  • 轻松在任何位置部署。

探索红帽 AI

用于尝试深度学习的工具箱

无论您是想构建机器学习算法还是从头开始创建预测模型,红帽 OpenShift AI 都有许多不同的工具可帮助您顺利上手。

这个 AI 平台提供许多工具,例如基于 JupyterLab 的交互界面、无缝访问核心 AI/ML 库,以及广泛使用的框架。此外,它还提供可视化编辑器,用于创建和自动执行数据科学管道。结合使用 CI/CD 管道,团队可以改进其 MLOps,以提高运维效率,并更快地将更多 AI 模型投入生产。

探索红帽 OpenShift AI

红帽 AI 合作伙伴

此外,我们的 AI 合作伙伴生态系统也在不断壮大。各种技术合作伙伴与红帽携手合作,以认证他们的产品能否与红帽 AI 产品无缝衔接。这样,您就可以有更多的选择。

详细了解合作伙伴

中心

红帽官方博客

获取有关我们的客户、合作伙伴和社区生态系统的最新信息。

所有红帽产品试用

我们的免费试用可让您亲身体验红帽的产品功能,为获得认证做好准备,或评估某个产品是否适合您的企业。

扩展阅读

什么是参数高效微调(PEFT)?

PEFT 是一组仅调整 LLM 中部分参数的技术,可节省资源。

LoRA 与QLoRA:有何区别

LoRA(低秩自适应)和 QLoRA(量化低秩自适应)技术都可用于训练 AI 模型。

什么是 vLLM?

虚拟大型语言模型(vLLM)是一系列开源代码的集合,可帮助语言模型更高效地执行计算。

AI/ML 相关资源