基于人工智能（AI）的下一代控制系统

过去几十年来，控制系统持续发展，而人工智能(AI)技术正在助力先进控制系统向下一代发展演进。

　　尽管控制生态系统所呈现出来的，可能是一个复杂而又相互关联的技术网络，但也可以将其视为家谱中不断发展的分支，这样就可以将其简化。每种控制系统技术都有其自身的特点，是之前的技术所不具备的。

　　例如，前馈技术通过预测控制器的输出来改进比例-积分-微分(PID)控制，然后利用预测将干扰错误与噪声发生分开。模型预测控制（MPC）通过对未来控制行动结果的分层预测和控制多个相关的输入和输出，增加了更多功能。

　　控制策略的最新趋势之一，是采用人工智能技术来开发工业控制系统。该领域的最新进展之一是基于强化学习的控制的应用。

微软Bonsai大脑应用，包括动态和高度可变的系统、相互竞争的优化目标或策略以及未知的启动或系统条件等。图片来源：Wood

　　AI控制器的3个特性

　　基于AI的控制器，即基于深度强化学习（DRL）的控制器，可以提供一些独特且吸引人的特性，例如：

　　1.学习：基于DRL的控制器通过有条不紊和持续的练习来学习（我们称之为机器教学）。因此，这些控制器可以发现专家系统中不容易捕获的细微差别和异常，而使用固定增益控制器则可能难以控制。

　　仿真器可以将DRL引擎暴露于各种过程状态。在这些状态中，有很多是在现实世界中永远不会遇到的，主要是因为AI引擎（大脑）在运营工厂时，会试图尽可能接近甚至超出物理设施的运行极限。在这种情况下，经历这些偏移（可能会导致过程跳闸）是为了让大脑学习哪些行为需要避免。当经历的次数足够多时，大脑就能学会哪些事情不该做。

　　此外，DRL引擎可以同时从多个仿真中学习。它可以从数百个仿真中学习，而不是只能从单一工厂中获取大脑数据。每个仿真的执行速度都比正常实时中看到的要快，从而可以提供有利于最佳学习的训练体验。

　　2.延迟满足：基于DRL的控制器可以学习识别短期内的次优行为，从而在长期内实现收益的优化。根据西格蒙德弗洛伊德（Sigmund Freud），甚至公元前300年的亚里士多德（Aristotle）的理论，人类将这种行为称为“延迟满足”。当AI以这种方式运行时，它可以将过去棘手的局部最小值推向更优化的解决方案。

　　3.非传统输入数据：基于DRL的控制器可以管理输入信息并能够评估传感器信息，这是自动化系统无法做到的。例如，基于AI的控制器可以处理有关产品质量或设备状态的视觉信息。在采取控制措施时，它还会考虑分类的机器报警和警告。它甚至可以使用声音信号和振动传感器输入，来确定如何做出过程决策，这有点类似于运行人员接收声音信息后所做的响应。处理视觉信息（例如耀斑大小）的能力，可以划分并揭示基于DRL的控制器的能力。

在仪表板中跟踪能源参数有助于可视化优化目标。

　　启用基于DRL的控制系统

　　向过程设施提供基于DRL的控制系统，涉及4个步骤：1)为大脑准备仿真模型；2)大脑的设计和训练；3)对大脑训练成果的评估；和4)部署实施。

　　启用基于DRL的控制器，需要仿真或“数字化双胞胎”环境来练习和学习如何制定决策。这种方法的优点在于，大脑可以了解系统“好的”和“坏的”方面，以实现既定目标。鉴于在过程仿真模型中，真实环境多种多样（远远超过仿真通常所能表示的），以及在操作状态空间上训练大脑所需的仿真量，使用保持基本物理原理的降阶模型，可以提供最好的训练大脑的方法。

　　这些模型提供了一种开发复杂过程仿真的方法，并且在运行时速度更快，这两者都允许以更有效的方式开发大脑。基于标签的过程仿真器，以其简单的设计、易用性和满足广泛仿真需求的能力而著称，这符合训练基于DRL的大脑所需的仿真模型的要求。

　　在高度现代化的时代，当面板上的指示灯和开关退出舞台时，基于标签的仿真器使自动化工程师的工作变得不那么繁琐。过去数十年来，早在“数字化双胞胎”等现代术语出现之前，使用仿真在进入现场之前的工厂验收测试(FAT)上进行系统测试，一直是过程仿真软件的“面包和黄油”。

　　相同的仿真器，现在也可用于训练AI引擎以有效控制工业过程。为实现这一点，仿真器需要能够以分布式方式跨多个CPU甚至在“云”中运行。需要多个仿真实例来练习、训练或评估并行执行的潜在新AI算法。一旦实现这一点，就可以使用基于标签的仿真器开发的运行人员培训系统，来训练基于DRL的AI引擎。

　　大脑的设计和训练

　　根据需要控制的过程对象来设计大脑，对于开发基于DRL的最佳控制解决方案至关重要。大脑不仅可以包含AI概念，还可以包含启发式、程序化逻辑和众所周知的规则。如果从主题专家(SME)收集到合适的信息，使用该信息构建大脑的能力将是项目成功的关键。

　　使用主题专家知识构建富有洞察力的培训场景，对于开发强大的基于AI的控制系统至关重要。在使用模型训练DRL引擎之前，必须决定模型的哪些元素将作为过程状态暴露给大脑。过程状态通常是自动化系统可用的测量值的集合。液位、温度、设定值等都是典型的例子。

　　暴露太少的过程状态，大脑将无法从中获取足够多的数据进行学习。而过程状态太多时，内部非必须参数的数量会迅速增加。这同样会导致大脑无法快速学习，因为它不得不花费一部分精力来识别哪些过程状态不太重要。从大脑流向过程的数据也会发生类似的情况。人必须决定允许大脑操作哪些动作，这决定了控制过程最理想状态所需的努力。

　　通常，大脑可用动作中包含哪些内容的决策更容易制定，因为可用于控制该过程的控制阀或其它机制是有限的。关于过程状态和动作空间大小的决定，归结为每个状态和动作结构中应该包含哪些仿真标签。在基于标签的仿真器中定义了状态和动作。从列表中选择标签并单击按钮，可以将它们添加到大脑所使用的状态或动作结构中。

　　定义状态和动作空间

　　Inkling是一种为训练DRL代理而开发的语言，以紧凑、富有表现力且易于理解的语法来表达训练范式。可以对基于标签的仿真器进行编程，以自动生成用于定义大脑状态和动作结构的Inkling代码。

　　一旦定义了状态和动作结构，就需要为大脑定义训练目标。训练大脑的典型要求是结构，例如：目标、惩罚、课程计划和场景。在这个例子中，用户需要创建大约40行代码，才能使用仿真来训练AI大脑。

　　生成的Inkling代码，为新生的AI大脑描述了两件重要的事情——做什么，以及如何做。具体来说，生成此代码是为了通过使用上游的流量控制和下游的截止阀来控制液罐中的液位。“目标”描述大脑行动的预期结果，在这种情况下，实际液位应该接近设定值。

　　选择与目标匹配的适当课程和场景，是大脑设计者和主题专家之间适当协作的结果：液罐不溢出。“课程”和“情景”陈述告诉大脑如何学习该目标。在这种情况下，情景会引导大脑以随机但受约束的液位和设定值，开始每个训练集。

　　云技术加速AI训练

　　大脑的有效训练需要探索非常大的操作状态空间。云技术允许将仿真器容器化，并在大规模并行环境中运行。然而，要想获得预期结果，测试训练大脑的想法，需要首先在本地运行模拟以“消除”错误。一旦用户满意，仿真器就可以被容器化并在云中运行。典型的大脑训练课程，可以进行30万到100万次迭代。大脑的训练进度可以很容易地显示在屏幕上，比如一个简单水箱展示。云资源可以设法在不到一小时的时间内训练一个需要50万次迭代的模拟器。

　　可以通过图表展示大脑训练的进展与迭代次数的关系。“目标满意度”参数是训练集的移动平均值，最终会达成总目标数。通常，需要达到100%的目标满意度值，才能实现大脑对其练习过的所有场景的有效控制。

　　对训练结果的评估

　　大脑经过训练后，需要对其进行测试以评估其生存能力。在这个阶段，大脑会根据模型来判断其行为。然而，这次仿真中的场景应该有所不同——应该使用在最初几轮测试中没有使用的工况对大脑进行测试。

　　例如，如果1个值由3个阀门的组合控制，如果1个阀门不可用会发生什么情况？如果其中1个阀门卡住，大脑是否可以合理的响应，或者停机以进行维护？这是为操作员培训系统或控制系统测试而开发的仿真器模型可以适用的地方。与控制系统测试一样，AI控制器需要通过严格的正式测试程序。具有自动化测试计划的仿真器，可以显著减少评估“已训”大脑所需的工作量。

AI技术可以扩展到任何可以使用仿真建模的复杂问题，例如控制上游石油和天然气部门设备的间歇性生产故障，还有炼油厂/化工厂的性能优化和控制等。

　　大脑与控制系统的集成

　　一旦大脑通过评估测试，就可以实施部署。虽然有多种部署模式，但使用基于标签的仿真器来测试控制系统的独特优势在于，它们可以作为中间件将大脑与控制系统集成在一起。由于各种控制系统有大量可用的驱动程序，因此集成到特定于客户的站点比使用自定义解决方案容易得多。此外，从软件维护的角度来看，人们更倾向于尽量减少自定义部署的数量。

　　基于DRL的大脑已经被设计用于100多个用例，并且已部署到各行各业和垂直市场。例如，在优化建筑物的能源使用中，同时确保二氧化碳水平低于法定限值，要求工程师建立制冷设备设置点，以最小化成本，同时将室内温度保持在狭窄范围内。基于DRL的控制将实时天气数据（如环境温度和湿度）考虑在内，并将机器学习与过去性能和环境条件关系的模型结合使用，从而可以提供更优化的解决方案。

　　在化工过程控制应用中，聚合物生产需要密切控制反应器上的设定点。典型挑战包括瞬态控制，以及如何以最佳方式控制并提供一致的结果。控制变量的数量很大，并且在控制过程中多次使用人类经验，由于这是一项学习技能，结果的可变性是由于操作员经验和主观方面的可变性造成的。部署训练有素的大脑，探索与瞬态操作相关的所有状态空间，并结合最有经验和表现最佳的操作员的智慧，可以为操作员提供更快、更一致的操作建议，并将不合规格的产品数量降至最低。

　　上面的案例展示了一些已经部署的成功应用，实际上AI技术的使用可以扩展到任何可以通过模拟建模的复杂问题中。

　　AI助力下一代先进控制

　　基于AI的机器学习控制系统有望成为先进控制的下一个发展方向，特别是对于具有大状态空间的复杂系统，部分涉及测量状态和变量之间的非线性相关性。不过，实现这一承诺需要一些关键技术。

除了深入了解“数字化双胞胎”之外，学习代理还必须能够访问定向准确的模拟模型，以便在工厂中实践和部署学习代理以做出决策的方法。用于先进过程控制的构建和AI学习代理的端到端过程包括：在模拟中培训代理，跨多个优化目标和场景教授代理，评估代理，最后将代理部署在边缘作为生产控制系统。（作者：Kence Anderson  来源：控制工程网）