智能决策平台REVIVE（Reinforcement learning with Virtualized Environment），能够将少量历史数据转化为强大的决策引擎。

"我们在多年的落地经验中，吸取了非常多的教训，我们相信这个版本，能够带来更加智能，准确，灵活，可信的智能决策结果。" 南栖仙策联合创始人秦熔均这样介绍。新发布的REVIVE更智能、更准确、更灵活、更可信：

更加智能：新版本的REVIVE SDK引入变量因果分析工具，将用户从稠密的数据和复杂交错的流程当中解脱出来，自动进行结构优化和推荐，帮助用户轻松构建模型和进行虚拟环境的训练。

更加准确：正如人类在做决策时可以很快认知他所面临的环境，REVIVE通过生成、自动识别并自动匹配不同环境和最佳元策略模型，对最终的策略进行调优。针对实际环境，选择出最适宜准确的决策。

更加灵活：在现实应用中往往会有一些隐藏变量，新版REVIVE可以轻松添加隐变量模块，将缺失值也纳入考量。同时，新版本也更容易拆分出子模块进行修改和复用。

更加可信：REVIVE提供了决策的树状可视化状态，用户可以主动和模型进行交互，看看做了不同改变会获得怎样不同的结果，尝试不同决策，预见不同未来。

除了面向通用决策场景的REVIVE SDK，本场发布会上最惊艳的内容，是面向工业反馈控制任务的决策预训练模型。

通用反馈控制预训练模型

反馈控制任务广泛存在于大量的工业场景中。这类任务需要对实施过程中的每一步所引起的客观效果进行感知和反馈，并据此做出控制反应，调整下一步的计划决策和实施方案，在往复动态中达到控制目标。

不同的场景之下，工程师们需要根据不同的场景和环境去调整每一个控制参数，达到控制效果。如果能够实现通用的反馈控制系统，将为工业应用带来巨大变革。

要实现这项技术的关键核心在于，对不同任务的自动识别。只有当它识别了当前的任务是什么，才能根据任务调整控制策略，以做到对不同的任务都做出最优的决策。

针对这个问题，南栖仙策推出了通用反馈控制系统识别器：GFSEncoder。它能够输出3维的编码，来识别和表达不同反馈控制系统的特征和变化。

作为神经网络对系统的理解，GFSEncoder编码的每一维不会直接对应到系统的物理参数，但是二者依然会存在一定联系。

南栖仙策还额外发布了GFSEncoder Pro，将参数量提升50%以上。输出的任务编码维度从3维提升至8维，具有更强大的任务识别和编码能力。

在发布会上，南栖仙策以滑块的控制为例，展示了特征编码是如何随着物理参数的变化而变化的。B站搜索南栖仙策 https://www.bilibili.com/video/BV1Bd4y1c7n7/?spm_id_from=333.999.0.0&vd_source=81e9203bcfc1f33b834d254f33b023c7 可以看到完整的演示过程。

最后还需要强调的是，GFSEncoder并不需要额外测量系统的各种参数。

GFSEncoder下游应用

（一）系统变动预警

很多系统在长时间的运行后会发生老化或者损坏。通过比对GFSEncoder输出的编码可实时监控系统是否出现变化，预警系统失效。

（二）系统标定

GFSEncoder还可以根据当前系统编码与标准系统编码的差异来调整系统的参数，使用户不需要精密测量，就可以将系统向标准系统校准。

（三）PID参数预测

在这个应用中，南栖仙策介绍了将要推出的第二个模型，PIDPredictor。

PIDPredictor也是一个深度神经网络模型，能够基于GFSEncoder编码对相应的最优PID参数进行预测。GFSEncoder与PIDPredictor相结合，可以通过系统中的历史轨迹信息得到最优PID参数。

在展示当中，可以看出PIDPredictor所预测的PID参数的控制效果（右侧）会比待整定的PID控制器好很多。B站搜索南栖仙策可以看到完整的演示过程。

（四）通用反馈任务控制

南栖仙策还将PID控制器用神经网络控制器替代，推出了通用反馈控制器，GFSController。GFSController是使用强化学习训练得到的通用控制器，它由GFSEncoder与一个神经网络控制器组合而成。

结合GFSEncoder对系统的快速编码能力，GFSController可以做到部署即运行。

发布会以平衡车任务为例，进行了展示。在部署了GFSEncoder之后，无需进行任何针对性的调节，GFSController就能够直接将平衡车控制在稳定的状态。

作为验证，南栖仙策将GFSController部署至无人机高度控制任务中。作为对比，南栖仙策还引入了一个调好的二阶PID完成同样的任务，可以看出，GFSController与一个调好的PID控制器表现出了相当的水平。

为了测试GFSController通用性，发布会上，南栖仙策对更多的衍生场景进行了假设和模拟：如果有一天人类登陆火星或是在高空飞行，这个无人机能否适应新的环境变化？

GFSController很快就完成了对新系统的识别，其超调已经明显降低，然而PID控制器的超调依然很严重，以致于最后无人机撞击到地面并损毁。B站搜索南栖仙策可以看到完整的演示过程。

需要注意的是，这里的PID控制器是一个二阶级联的PID控制器。而GFSController则是一阶控制的。事实上，GFSController也能够通过级联来提升控制效果。这意味着GFSController除了通用性之外，还具有强大的拓展性。

南栖仙策已经将GFSEncoder的相关的模型发布到了REVIVE官网。https://revive.cn 欢迎大家下载体验。

赛事回顾

强化学习创新创意大赛，旨在激发强化学习技术的应用创新，不设具体赛题。鼓励选手了解强化学习的机制原理、掌握强化学习的任务建模、发掘强化学习落地场景、展现强化学习的创新应用价值。

大赛自6月17日开赛以来吸引国内外高等院校、科研单位、企业单位负责人等数百人参与其中。

大赛经初赛、复赛两轮，4个月的激烈角逐之后，最终经由学术专家和产业专家共同评选出12支获奖队伍。其中4支队伍分别斩获"最佳项目奖"、"最佳实践奖"、"最佳创意奖"、"最佳社会价值奖"；8支队伍获得"优秀项目奖"。

获奖选手 Talk Time

最佳项目奖：止于至善队

"基于强化学习，实现分布式能源系统的智能决策未来是可行的。"

"目前国内外的分布式能源管理平台，虽然在数据感知层大量使用了人工智能技术，但在决策层还是基于传统的优化算法。这些算法受限于计算精度和实时性不能兼得，而且很难处理新能源带来的波动性和随机性问题。而强化学习可以处理这些问题。"

队长侯胜任来自荷兰代尔夫特理工大学，吴明贺、颜子恒来自东南大学。为应对全球气候变暖和能源危机，这支队伍将强化学习应用于新能源冲击下的能源管理系统，实现分布式能源系统的智能决策，使能源系统运行在高效、经济、安全、可靠的运行区间。在满足用户需求的前提下，大幅度降低公司系统运行成本，为客户创造更多的收益。

最佳创意奖：Brain Control队

"我一直认为强化学习方法会为生命科学领域里的一些问题带来突破。"

"本次获奖项目是我们团队将强化学习方法应用大脑疾病治疗的一次尝试，目的是为了更好地帮助医生和病人选择更合适的治疗策略，这不仅可以为病人带来更优的治疗效果，更可以释放大量的医疗资源。"

这是来自复旦大学的两位博士生，李岩和权昭宇，他们将强化学习应用于自动化脑深部电刺激的参数调节。也就是通过强化学习自动寻找个性化的最优刺激参数，产生最优的疾病治疗方案。
这项技术在未来将有机会在面向帕金森、瘫痪、癫痫和抑郁症等的疾病治疗中发挥巨大作用。减轻病人的痛苦，减少医生的工作量。

最佳社会价值奖：Traffic Go队

"作为交通从业者，我非常渴望能够攻坚克难，打造适用于我国的先进城市交通优化控制与缓堵平台。"

这是来自同济大学的博士后王一喆，他对被称为"交通工程领域王冠上的明珠"的世界性难题：交通控制和缓解拥堵 发起挑战。

基于强化学习的交通控制算法及机制，他通过构建可复用性强，自动化程度高的关键特征提取程序；搭建层次分明，易于查询的数据结构，即使面对随机性强，波动性大且呈非线性变化的复杂城市道路交通状况，也可以获得更高的可测性和可控制性。

最佳实践奖：穿梭在银河的火箭队

"希望能帮助更多人缩减决策时间，让人们将时间用在有更有价值的地方。"

"通过本次比赛，我们更加坚信了强化学习在决策领域巨大的潜力，希望能将学到的知识应用于实践，同时帮助大家理解机器决策过程中每一步的含义，也就是为什么这样做，能够带来更高的收益。"

这支队伍的陈涛，史晨佳和任智军老师来自于上海商学院，他们聚焦个体投资者和机构，提供完整高效可行的投资交易策略。他们的项目对中国的A股市场的环境和数据进行建模，将深度强化学习应用到金融领域，使用智能体模拟交易员，在A股市场中进行选股和择时交易，让决策更优越、更简单。

在项目进行到中后期，为了节省算力和时间，他们在REVIVE仙启平台进行了多智能体模型的训练。"不得不说，「仙启」的表现真的远超团队预期，只需要少量的代码便可以进行实操，这也极大的弥补了团队在多智能体模型上编码能力不足的缺陷，早点使用该平台也许项目进度会快很多。"

该项目在"东方财富杯"全国大学生金融挑战赛 进行了落地验证，以总收益20.93%战胜了全国98%的选手。为他们高兴！

在实际场景中的落地

南栖向参赛选手们提供了REVIVE [仙启](https://revive.cn/）在实际场景中的落地。

南栖向参赛选手们提供了REVIVE「仙启」帮助选手还原现实场景，构建无限接近真实的虚拟环境，在这个环境中进行策略验证和对比，获得最终可迁移到实际应用中的最佳策略。)帮助选手还原现实场景，构建无限接近真实的虚拟环境，在这个环境中进行策略验证和对比，获得最终可迁移到实际应用中的最佳策略。

此外，感谢张伟楠、安波、张哲先、俞扬等教授和老师，抽出宝贵时间，为选手们提供了一对一的指导和讲座。

为了让更多对强化学习应用感兴趣的人从本次大赛中获益，主办方在南栖仙策B站官方账号上公开了部分讲座内容，点击讲座观看讲座视频。

大赛还涌现出了一批精彩的应用场景和项目，让我们一起来看看获奖名单。

诚如张伟楠老师在讲座中所言，强化学习所对标的决策智能拥有非常广阔的市场，因为在任何一个行业，一旦有决策优化的需求，就有可能使用到强化学习技术。

让我们共同期待，在未来，更多的人能够借助强化学习的力量改变世界。

强化学习是一种数据驱动的决策技术，具有自主学习、高度非线性等特性，可有效应对工业控制面临的一系列难题。南栖仙策作为强化学习AI智能决策应用的领军者，将强化学习应用于工业控制任务，产生了多个落地案例。南栖仙策团队将强化学习应用的经验总结编写了《强化学习控制白皮书》（以下简称为《白皮书》，下载链接：http://polixir.ai/white-papers/rl-control），《白皮书》结合实际案例，对强化学习在工业控制中的应用过程进行了介绍，并展示了强化学习带来的优势。

白皮书下载链接：http://polixir.ai/white-papers/rl-control

白皮书共分为三个部分

第一部分：概述流程工业生产控制的挑战

现有的工业生产管理流程，多个环节由人工把控，依赖经验知识且响应速度缓慢。过程控制基于经典控制算法，在大范围动态条件复杂系统的优化控制问题上存在不足。系统运维缺乏数据支撑，故障难预警、风险不可控，常造成企业产品不够稳定、生产线持续性不够高、产量波动的应对能力不足、生产损耗过大成本难以控制等问题。

第二部分：介绍南栖仙策强化学习工具的优势

南栖全球领先的数据驱动强化学习工具POLIXIR REVIVE提供了数据模拟环境和强化学习优化技术，在火力发电、化工生产、自来水/污水生产处理等多个工业场景带来了不同的能力，与MPC（Model Predictive Control）的对比为例，阐述了在系统建模方法、系统模拟能力、控制策略能力上更具有实施快、成本低、建模灵活、适用面广、实用性强等特点。在实施上，南栖通过云端协同架构，实现了POLIXIR REVIVE与ReinOptima工业边缘控制器的联动。通过云端协同架构，当ReinOptima的预测性维护模块识别出系统发生偏移时，自动将历史数据传输到REVIVE系统更新虚拟环境模型和控制策略，实现对环境变化的自动适应和持续的自我学习与进化。

第三部分：南栖仙策技术优势与场景应用案例

《白皮书》通过实际案例分别对能源与流程工业制造"高精度控制、高稳定控制、大滞后控制、全局目标控制"四个不同维度的需求进行了详细解读。

>>高精度控制

传统人工控制增压泵房的给水，经常导致水量和能耗过高或过低。通过POLIXIR REVIVE产生的泵频控制策略，可大大降低出口流量与目标流量差值，达到系统所期望的精准控制，并与历史同时期千吨水电耗相比，节省电耗约 7.16%，有效提高了泵房的经济效益。

>>高稳定控制

在燃煤火电机组控制中，由于外部扰动，导致主蒸汽温度长期不稳定。传统的PID控制存在严重的过调、延迟等问题，导致超温、温度过低等情况出现，影响发电效率等。通过POLIXIR REVIVE产生的温控策略，可将出口温度有效控制在一定范围内，并帮助节省燃煤 0.06%，保障稳定的同时延长了设备的使用寿命。

>>大滞后控制

在磨煤机生产过程中，由于目标出口煤粉温度与控制风量之间存在较长的时间差，整体系统存在滞后性、长距离控制等问题，以及风速测不准导致风速控制器的 PID 控制失效。通过POLIXIR REVIVE产生的冷热一次风挡板位控制策略，可使出口风粉温度分布更贴近目标温度，系统运行工况更加稳定。

>>全局目标控制

循环水泵的优化控制难点体现在需全局考虑整锅炉运行流程，寻找最优的耗电-发电平衡点，PID控制难以实现，通过POLIXIR REVIVE产生的循环水泵控制策略，可在330MW热电联产机组循环水泵控制中，将整体指标值降低约0.53，相较于PID控制策略，节能提升3.52%。

南栖仙策《强化学习控制白皮书》全文，可点击下方链接下载：http://polixir.ai/white-papers/rl-control

南栖仙策是强化学习AI智能决策应用的领军者，在汽车标定业务上。南栖将强化学习技术与汽车标定场景充分融合，摸索并总结出数据驱动的虚拟标定解决方案，旨在高效、高精度、低成本地完成标定业务。南栖仙策汽车交付团队基于强化学习研发的技术优势、服务汽车行业客户的经验，结合整车转鼓排放标定、混动标定两个实际案例，编写了《汽车虚拟标定白皮书》（以下简称为《白皮书》），展示了强化学习应用技术带来的AI能力，以及帮助汽车行业客户提升核心竞争力的潜力。

《白皮书》分为三部分进行阐述。

第一部分：概述整车标定概念及车企面对的四大行业难题。

《白皮书》总结了汽车行业客户常面临的标定难题：

1. 标定复杂度高，标定参数多达上千个。人工联合调优难，性能“将就”。

2. 强烈依赖经验，需要经验丰富的工程师。人员易流失，经验随之带走。

3. 试验成本高昂，物理实验开销难降低。研发成本难降低，挤压利润空间。

4. 迭代周期冗长，需多次反复迭代试错。拖延产品发布，耽误市场时机。

除以上4点外，近两年受新冠疫情的影响，标定实测工作常常中断，严重影响了业务进展。

第二部分：介绍南栖强化学习工具的不同与优势

南栖全球领先的数据驱动强化学习工具REVIVE提供的数据模拟环境和强化学习优化可有助于解决车企面临的标定难题。REVIVE是面向行业专家的强化学习工具，通过数据驱动环境虚拟技术，进行大量虚拟推演与试错，寻找最优方案。

REVIVE基于汽车标定数据模拟环境的强化学习解决方案过程：

REVIVE方案主要分为四步：首先在人工标定参数的实车验证实验中收集对应的性能状态秒采数据并进行简单的数据整理；然后根据汽车控制基础逻辑构建业务模型，导入数据，使用REVIVE系统中的环境模型训练功能，训练控制逻辑图中所有的神经网络模块，得到可运行的“数据仿真车”，并使用可视化评估指标验证虚拟环境与真实环境的一致性；再使用REVIVE系统中的策略模型训练功能，得到优化后的标定参数；最后将优化后的标定参数在虚拟环境中验证，评估有效则上载到汽车进行实车验证。

第三部分：结合发动机整车排放标定、混动标定两个案例，介绍REVIVE成功应用方案。

《白皮书》实例证明，南栖独特的AI虚拟标定技术可显著降低汽车尾气排放值。与人类工程师相比，THC降低了51%，CO降低了29%，NOx降低了18%，优于国六排放标准，并为后续车辆设计环节提供了充足的排放余量。

在串并联混动系统标定任务上同样成功。在起点—终点电量相同的约束下，能优化得到更合理的利用电池电量容量、更高效的利用发动机最优工况特性的混动策略，使得整车在WLTC实验中取得更低的油耗。

南栖仙策《汽车虚拟标定白皮书》全文下载链接如下：
https://forms.ebdan.net/ls/ukA9JYSV?bt=yxy