Reinforcement Learning for Automated Flowsheet Synthesis of Steady-State Processes

Reinforcement Learning für automatisierte Fließbildsynthese von stationären Prozessen

Die Fließbildsynthese ist ein zentraler Schritt im konzeptionellen Entwurf chemischer Verfahren und naturgemäß ein kreativer Prozess, der schwer zu formalisieren ist. Gängige Methoden der computergestützten Fließbildsynthese sind jedoch meist formalisierte Algorithmen, die wissensbasierte Regeln für die Erstellung von Planungsalternativen sowie mathematische Optimierung für die Auswahl von Alternativen (oft aus Superstrukturen) verwenden.

Das Ziel dieses Forschungsprojekts ist die Nutzung moderner Reinforcement Learning (RL) Verfahren für die automatisierte, aber kreative Fließbildsynthese von stationären chemischen Prozessen. Hierbei erstellt ein lernender Agent sequenziell Prozessfließbilder durch Interaktion mit einem Prozesssimulator, der anhand einer Kostenfunktion Rückmeldung zur Güte der erstellten Fließbilder gibt. Der Agent verfügt über keinerlei verfahrenstechnische Vorkenntnisse und lernt ausschließlich anhand dieser automatisierten Interaktion mit dem Simulator. Lediglich der Prozesssimulator enthält das a priori verfügbare physikalische Wissen, d. h. physikalisch-chemische Stoffeigenschaften sowie eine Reihe von allgemeinen Apparatemodellen.

Die zentrale Arbeitshypothese ist, dass dieser Ansatz in der Lage ist, selbstständig machbare Prozessfließbilder zu erstellen, die bezüglich einer gegebenen Kostenfunktion nahezu optimal sind.

Das Projekt gliedert sich somit in zwei eng verzahnte Teile: Auf der einen Seite müssen robuste und schnelle Simulationsumgebungen für Beispielprobleme entwickelt und implementiert werden. Dafür werden zunächst vereinfachte Shortcut- und Surrogatmodelle für die Apparate verwendet (Burger Gruppe, Chemische und Thermische Verfahrenstechnik, Technische Universität München). Auf der anderen Seite (Gruppe Grimm, Bioinformatik und Maschinelles Lernen, Hochschule Weihenstephan-Triesdorf und Technische Universität München, Campus Straubing) müssen neue RL-Methoden entwickelt werden, um die kombinatorischen Herausforderungen einer Fließbilderstellung zu meistern: Der Planungshorizont sowie die Anzahl der möglichen Planungsentscheidungen (diskret und kontinuierlich) sind extrem groß. Zusätzlich ist a priori unklar, wie unfertige Fließbilder inmitten einer Synthese zu bewerten sind, was dem Agenten das Lernen erschwert.

Um diese Herausforderungen besser adressieren zu können wird das Problem der Fließbildsynthese in ein kompetitives Zwei-Spieler-Spiel transformiert. Dies führt zu einer verallgemeinerten Formulierung und Analyse als kombinatorisches Planungsproblem, und ermöglicht die Anwendung von Algorithmen, die für komplexe hochkombinatorische Spieleanwendungen (Schach, Go) entwickelt wurden.

Figure

Publikationen

Using Reinforcement Learning in a Game-like Setup for Automated Process Synthesis without Prior Process Knowledge

Göttl, Q.; Grimm, D.; Burger, J. (2022)

Proceedings of the 14th International Symposium on Process Systems Engineering 2022, S. 1555-1560.
DOI: 10.1016/B978-0-323-85159-6.50259-1

 

The present work uses reinforcement learning (RL) for automated flowsheet synthesis. The task of synthesizing a flowsheet is reformulated into a two-player game, in which an agent learns by self-play without prior knowledge. The hierarchical RL scheme developed in our previous work (Göttl et al., 2021b) is coupled with an improved training process. The training process is analyzed in detail using the synthesis of ethyl tert-butyl ether (ETBE) as an example. This analysis uncovers how the agent’s evolution is driven by the two-player setup.

mehr

Automated Flowsheet Synthesis Using Hierarchical Reinforcement Learning: Proof of Concept

Göttl, Q.; Tönges, Y.; Grimm, D.; Burger, J. (2021)

Chemie Ingenieur Technik 93 (12), S. 2010-2018.
DOI: 10.1002/cite.202100086


Open Access
 

Recently we showed that reinforcement learning can be used to automatically generate process flowsheets without heuristics or prior knowledge. For this purpose, SynGameZero, a novel two-player game has been developed. In this work we extend SynGameZero by structuring the agent's actions in several hierarchy levels, which improves the approach in terms of scalability and allows the consideration of more sophisticated flowsheet problems. We successfully demonstrate the usability of our novel framework for the fully automated synthesis of an ethyl tert-butyl ether process.

mehr

Automated Process Synthesis Using Reinforcement Learning

Göttl, Q.; Grimm, D.; Burger, J. (2021)

Proceedings of the 31st European Symposium on Computer Aided Process Engineering (ESCAPE31) 50, S. 209-214.
DOI: 10.1016/B978-0-323-88506-5.50034-6

mehr

Automated Synthesis of Steady-State Continuous Processes using Reinforcement Learning

Göttl, Q.; Grimm, D.; Burger, J. (2021)

Frontiers of Chemical Science and Engineering 16, S. 288-302.
DOI: 10.1007/s11705-021-2055-9


Open Access
 

Automated flowsheet synthesis is an important field in computer-aided process engineering. The present work demonstrates how reinforcement learning can be used for automated flowsheet synthesis without any heuristics of prior knowledge of conceptual design. The environment consists of a steady-state flowsheet simulator that contains all physical knowledge. An agent is trained to take discrete actions and sequentially built up flowsheets that solve a given process problem. A novel method named SynGameZero is developed to ensure good exploration schemes in the complex problem. Therein, flowsheet synthesis is modelled as a game of two competing players. The agent plays this game against itself during training and consists of an artificial neural network and a tree search for forward planning. The method is applied successfully to a reaction-distillation process in a quaternary system.

mehr

Automated Synthesis of Steady-State Continuous Processes using Reinforcement Learning

Göttl, Q.; Grimm, D.; Burger, J. (2021)

arXiv:2101.04422.


Open Access
 

Automated flowsheet synthesis is an important field in computer-aided process engineering. The present work demonstrates how reinforcement learning can be used for automated flowsheet synthesis without any heuristics of prior knowledge of conceptual design. The environment consists of a steady-state flowsheet simulator that contains all physical knowledge. An agent is trained to take discrete actions and sequentially built up flowsheets that solve a given process problem. A novel method named SynGameZero is developed to ensure good exploration schemes in the complex problem. Therein, flowsheet synthesis is modelled as a game of two competing players. The agent plays this game against itself during training and consists of an artificial neural network and a tree search for forward planning. The method is applied successfully to a reaction-distillation process in a quaternary system.

mehr

Vorträge

Reinforcement Learning für die automatisierte Fließbildsynthese

Grimm, D.; Göttl, Q.; Burger, J. (2021)

AI4Life, KI Symposium.



Promotionen

Reinforcement Learning for Automated Flowsheet Synthesis of Steady-State Processes


Doktorand Jonathan Pirnay
Forschungsschwerpunkt Weitere Forschungsfelder
Zeitraum 01.01.2022 - 31.12.2024
Wissenschaftlich betreuende Person HSWT Prof. Dr. Dominik Grimm
Einrichtung TUM Campus Straubing
Wissenschaftlich betreuende Person (extern)
mehr

Teilprojektleitung


Prof. Dr.-Ing. Jakob Burger
Technische Universität München

Projektbearbeitung

Projektdauer

01.01.2022 - 31.12.2024

Projektpartner

Projektförderung