DevOps 和人工智能 – 天作之合

Blog
Author:
Dori ExtermanDori Exterman
Published On:
2月 2, 2022
Estimated reading time:
1 minute

如今,人工智能和机器学习无处不在,所以它们开始在 DevOps 领域崭露头角也毫不令人意外。人工智能和机器学习正在通过自动化任务改变 DevOps,并使各企业的软件开发生命周期更高效、更深刻和更安全。我们在 DevOps 趋势中简要讨论过这一问题,现在是时候让我们加深一下对 DevOps 中的人工智能和机器学习的认识了。首先,我们来了解一下最能突显这一现代技术的趋势和数据。

人工智能和机器学习趋势

毫无疑问,人工智能和机器学习的应用越来越普遍,并且正在成为十分有价值的技能。我们近期有关 DevOps 趋势的文章中提到,到 2023 年,约有 40% 的 DevOps 团队将应用人工智能增强对 IT 运营的监控。此外,根据德勤的预测,全球人工智能定制应用开发服务市场将 2023 年增长超过 610 亿美元。鉴于未来几年内市场预计会有如此庞大的增长,学习如何与人工智能和机器学习技术合作将会是一项能够带来丰厚利润的技能。

毫无疑问,机器学习很快就会被应用于技术产业以外的领域,例如电子商务、娱乐和医疗保健。由于许多领域都将应用机器学习,机器学习正成为一项重要技能,助力开发人员或 IT 专业人士的职业发展,并为这些持续增长的趋势提供支持。GitLab 2021 DevSecOps 调查数据显示,约 30% 受访的开发者认为人工智能或机器学习技术是其未来职业生涯中最重要的技能。此外,弗雷斯特公司预测,在 2022 年,至少有三分之一的测试专业人员将采用机器学习实现更为智能的测试自动化。因此,对掌握人工智能和机器学习技术的需求正在增长,这也进一步证实为何有更多的开发人员认为掌握这些工具十分关键。

为什么 DevOps 需要人工智能

机器学习以及自然语言处理,可基于广泛参考的指导原则,生成高质量的技术项目要求。这有助于确保运行的系统和配置始终符合相应的企业安全政策。实际上,机器学习可以检测出项目中不完善的要求,无法衡量的量化项,以及其他项目要求的不足。这样,项目管理团队便能更好地编制项目所需的要求,同时最大限度减少规划中的不准确性和缺陷,从而开发高性能的产品。

支持现代应用程序的各种工具和技术呈指数级增长,这就导致有更多的组件需要管理。有更多需要管理的资源意味着 DevOps 团队的工作可能会极其乏味和繁琐,尤其是这些工作都需要人工完成时。随着对更高水平的自动化和新的管理技术的需求不断增加, DevOps 也愈发需要人工智能和机器学习。人工智能可帮助 DevOps 团队减轻技术负债,更好地制定项目要求。而基于人工智能的测试将有助于解决测试覆盖率方面的技术负债问题。因此,DevOps 团队便能在无需配置不必要资源的前提下对系统和服务进行测试。

人工智能和机器学习在 DevOps 中还有另一个应用场景,即协助管理来自应用程序或基础设施的警报。例如,根据从过去的行为中提取的信息、警报严重性以及警报来源,人工智能可协助判断警报响应的优先次序。这样,DevOps 团队便能优化警报系统,使系统自动区分噪音或误报与急需采取应对措施的关键问题。此外,经过训练的机器学习算法有助于更快解决关键问题,DevOps 团队将花费更少的时间筛选监控服务中记录的日志信息,判断问题的根本原因。

人工智能的争议

 DevOps-和人工智能-天作之合

人工智能和机器学习的应用也伴随着一些安全问题。机器学习算法的好坏取决于训练使用的数据。因此,基于开源项目训练的工具可能会使开发人员无意中将 bug 和安全漏洞引入代码。这可能导致漏洞进入生产环节,对企业生产的软件和服务造成负面影响。

此外人工智能和机器学习还面临着一些安全漏洞威胁。人工智能工具可能会十分容易遭受勒索软件的攻击。黑客利用漏洞将系统驱动器加密,并且只有在支付“赎金”后才能拿到密钥。这是一个在不断发恶化的危险漏洞。实际上,勒索软件正在迅速成为更多企业面临的主要漏洞。然而,随着人工智能和机器学习不断发展,它们将能够在更多漏洞进入生产环节前进行检测并减少影响。

有人担心人工智能或机器学习会在工作中取代他们的位置。NoOps,即无需要人为干预即可管理基础设施,可能会在未来导致运营团队被淘汰。机器有可能通过原来的配置模式学习如何自主进行配置和管理,从而导致人和机器之间的竞争。弗雷斯特公司副总裁兼首席分析师指出,有人认为人工智能会在五年内降低对开发人员的需求,因为机器自己就能编写一些基本的基础设施代码。

不过,采用人工智能和机器学习可以带来新的机遇。了解如何利用这些工具训练算法和分析大量数据可获得公司所需的更为准确的结果或预测数据。构建采用机器学习或人工智能的应用程序可以带来更多高性能的应用程序,从而让企业在竞争中保持领先地位。此外,机器和服务会不时出现故障,因此需要有精通机器学习的专业人员进行故障排除,解决使用人工智能工具可能出现的功能性问题。总而言之,虽然人工智能和机器学习有可能取代人们的部分工作,但它们也提供了构建、管理和修复公司运营所需的人工智能工具和技术的机会。

DevOps 中的人工智能和机器学习

在 DevOps 领域采用的人工智能和机器学习技术呈现出不同的形式。以下是两种技术在该领域的部分应用方式。

AI-Ops ML-Ops

AI-Ops 和 ML-Ops 分别指“人工智能操作”和“机器学习操作”,涉及使用人工智能或机器学习来执行操作任务。团队可以训练算法,在软件开发生命周期不同阶段自动运行任务。AI-Ops 通过分析和机器学习来研究 DevOps 管道中使用的操作工具生成的大量数据,从而了解需要执行哪些任务以及如何执行相应的任务。

在构建阶段,可以使用人工智能和机器学习自动构建虚拟环境来测试源代码。而在监控阶段,它们则可以用来确保资源运行不会出现任何问题。这样,开发人员和运营团队便能在他们的应用程序和基础设施中持续保持整体一致性。有了 AI-Ops 和 ML-Ops,计算机系统可以学习现有环境,在开发阶段打包代码,并在生产中以最佳状态运行。由于资源会提前配置,团队因此能够节省手动配置和管理资源的时间,且不必主动监控系统性能。

自动化

DevOps 团队开始利用人工智能和机器学习实现工作流程自动化。人工智能、机器学习和数据科学实践可以毫不费力地迅速解决问题。例如,人工智能可以为软件开发生命周期的开发阶段提速。这可以通过运行 TabnineGitHub Copilot 等人工智能代码补全工具实现。这类工具在开发阶段提供代码建议来协助开发人员工作。此外,人工智能还能自动创建质量保证环节所需的测试。测试团队因此可以花费更少的时间进行测试,并在测试环境内的自动化方面投入更多时间,提前验证代码并将代码送往生产环节。除了测试代码,人工智能和机器学习还可以执行更多自动化任务。它们根据添加到机器学习算法中的数据集使代码审查工作自动化。这有助于实现代码优化过程的自动化,并提高应用程序性能。

质量

人工智能和机器学习不仅能够将软件开发生命周期中的更多流程自动化,还能提高企业软件的质量。通过检查原来的代码版本和保存的应用程序日志的统计数据,

人工智能工具可以协助预测部署失败的情况。知道哪些方法行得通后,团队便能改进软件版本,并在送往生产环节前相应做出更改。根据Enterprise Project一篇文章的内容,机器学习能够发现代码中的问题,如资源泄漏、潜在的并发竞态条件和浪费的 CPU 周期,这些都可能影响生产中的软件性能。 获得这些信息后,DevOps 团队将更深入地了解面临的性能瓶颈,优化代码或基础设施来弥补不足之处。在提高代码质量方面,人们可能会对机器学习和人工智能的可靠性抱有疑虑,但最近的研究证明了这类工具在软件管理方面的可靠性。Facebook 使用的 bug 检测之类的机器学习工具已被证实在检测缺陷和针对源代码提供补救建议方面具有大约 80% 的正确率。人工智能和机器学习工具正逐步完善,在不久的将来,它们在提高软件质量方面也将变得更加可靠。

安全

尽管有人担忧人工智能和机器学习的安全问题,但事实证明,这类工具能够有效保障服务和基础设施安全。它们可以检测系统和服务中的异常。根据 GitLab DevSecOps 报告,人工智能数据整合和机器学习算法使异常检测效率更高,甚至在设备启动的时间内便能完成。DevOps 团队在设备启动完成后会立即收到与系统漏洞有关的消息。此外,机器学习工具可以通过训练实时检测异常,并立即提醒 DevOps 团队。因此,这些工具可以防止更多软件漏洞被利用,保证企业和终端用户的安全。

人工智能和机器学习在管理 IT 环境整体合规性方面也有帮助。例如,DevOps 团队可以训练人工智能或机器学习算法,通过制定基线来监控企业整体的安全合规性。这样,他们便能采取预防措施,通知用户漏洞情况或关闭不符合安全规则的设备,将威胁扼杀在摇篮中。见证了安全方面的进步,一些公司开始为自己的服务应用或收购新的人工智能工具。例如,杰蛙近期就收购了 Vdoo。Vdoo 是一个用于检测和修复漏洞的人工智能工具,它通过调查设备的行为实现相应功能,其中人工智能会将设备的行为与基线做比较,以确定设备未按设计目的运行的时间。之后,DevOps 团队将决定是否关闭该恶意设备,并将设备与其他关键资源隔离,或额外对人工智能工具提示的设备行为进行研究。多亏了人工智能和机器学习具有的异常检测能力,DevOps 团队因此更容易保障安全并维持资源整体合规性。

低代码/无代码

值得一提的是,科技行业越来越多地在采用低代码或无代码工具。人工智能学习和管理技术资源的能力将减少团队的人工管理成本,他们只需编写很少的代码甚至不需要代码即可让系统和服务运行。可以肯定的是,这样的能力将使未来的开发人员在确保项目整体质量的同时,通过最少的手动作业和简单的界面开发软件。而且,由于低代码/无代码工具减少了编程中的复杂性,利用更少的代码在应用程序中创建所需的功能将使开发团队效率更高,更容易排除故障。因此,越来越多的开发人员和 DevOps 工程师正在采用低代码或无代码工具,他们希望把更多的精力用于保障软件质量,建立和部署高性能的应用程序。

人工智能工具

行业中已经存在多种人工智能和机器学习工具。 以下列举了该领域中的几个工具。

Arize AI 是一个 DevOps 机器学习工具,可以更快识别根本原因并解决模型性能问题。Arize AI 支持实时监控且监控范围广,可以自动发现潜在的性能和数据问题,并向 DevOps 团队发送实时警报以尽快采取补救措施。基于该工具为训练其模型而收集的数值型数据的模式,DevOps 团队将收到与应用程序或基础设施性能潜在问题相关的通知,因此该工具有助于团队在软件开发生命周期持续实施监控。

Dynatrace 是一个 AIOps 工具,提供DevOps 团队可在 CI/CD 管道中利用的能力,包括可观察性、自动化、人工智能和云原生应用安全。基于其确定性人工智能训练所采用的操作数据, Dynatrace 可在异构云环境中提供可实施的洞察。这有助于 DevOps 团队

识别可能对企业产生负面影响的云原生异常,从而安全地将应用程序部署到一个或多个云环境中。此外,其自动化运行时应用漏洞检测功能结合了 Snyk 的漏洞数据库与 Dynatrace 分析能力,可覆盖整个软件开发生命周期,旨在解决从代码阶段到监控阶段的安全漏洞。

另一个值得一提的机器学习工具是 Diffblue。Diffblue 是用于实现软件开发生命周期测试阶段自动化的人工智能平台典范。它与 Java 代码库集成,并生成反映当前代码行为的单元测试,几乎毫不费力便能执行自动回归测试,优化持续集成工作流程,提前发现回归问题。

我们的名单上还有最后一个工具——Amazon CodeGuru。该人工智能工具用于检测安全漏洞和自动进行代码审查。借助机器学习和自动推理、最佳安全实践以及从代码审查中学习的信息,Amazon CodeGuru 可帮助实现代码审查自动化,并就如何针对检测到的问题采取补救措施提供建议。在某种程度上,该工具可以被视为下一代静态代码分析工具,并为其添加机器学习能力。

结论

人工智能和机器学习正深刻影响着软件和基础设施的构建、部署、管理及测试方式。从自动测试到异常检测,人工智能和机器学习将显著改善整个开发周期。DevOps 团队应该把所有这些工具和能力视作新的驱动力,将部分人工作业留给自动化人工智能工具执行,以提高产品质量和优化系统与服务管理。根据需要自动化的任务和条件训练算法,DevOps 团队也就不会被公司运营方面需要关注的要求压得喘不过气。尽管有人对这些工具保持警惕,但未来几年内,人工智能和机器学习很可能会在 DevOps 团队的系统和服务中发挥重要作用。