# Reinforcement Learning ## Was ist Reinforcement Learning? **Reinforcement Learning (RL)** ist ein Lernverfahren, bei dem ein **Agent** durch *Versuch und Irrtum* lernt, optimale Entscheidungen zu treffen. Der Agent probiert in seiner Umgebung verschiedene Aktionen aus, erhält dafür eine **Belohnung (Reward)** und passt seine Strategie so lange an, bis er langfristig die höchste Gesamtbelohnung erzielt. Im Kontext der Gebäudeautomation heißt das: Ein RL-System testet selbstständig Stellbefehle für HVAC, Beleuchtung, Speicher & Co., bewertet laufend deren Auswirkungen auf Energieverbrauch und Komfort – und verbessert seine Steuerung Schritt für Schritt ganz ohne manuelle Eingriffe. *** ## Typische Einsatzfelder
DomäneZieleBeispiele
GebäudeautomationEnergie- & CO₂-Kosten senken, Komfortband einhaltenHVAC-Fahrpläne, Spitzenlast­glättung
Energie & Smart GridLast verschieben, Speicher steuernPV-Speicher-Dispatch, Tarifanpassung
RobotikGeschickte BewegungenGreifen, Navigieren, Drohnenflug
Industrie 4.0Durchsatz erhöhen, Ausschuss reduzierenDynamische Taktung von Fertigungsstraßen
Games & SimulationStrategiefindungAlphaGo, komplexe 3-D-Spiele
*** ## Aktuelle Herausforderungen von Reinforcement Learning Bereits 2018 im viel zitierten Blog-Artikel [„**Deep Reinforcement Learning Doesn’t Work Yet**“ (Februar 2018)](https://www.alexirpan.com/2018/02/14/rl-hard.html) wird aufgezeigt, wo RL in der Praxis scheitert – und trotz aller Fortschritte sind genau diese Hürden bis heute weitgehend ungelöst: 1. **Hoher Datenbedarf**\ Viele RL-Algorithmen brauchen Millionen Interaktionen – in realen Anlagen schwer umzusetzen. 2. **Empfindliches Hyperparameter-Tuning**\ Lernrate, Netzarchitektur & Co. sind oft experimentell – kleine Änderungen entscheiden über Erfolg oder Misserfolg. 3. **Belohnungsdesign & „Reward-Hacking“**\ Missverständliche Rewards können zu völlig unerwünschten Verhaltensweisen führen. 4. **Exploration vs. Exploitation & lokale Optima**\ Zu wenig Erkundung endet in suboptimalen, aber leicht erreichbaren Lösungen. 5. **Instabilität und Reproduzierbarkeit**\ Gleicher Code, anderer Zufalls-Seed → teils völlig andere Ergebnisse. 6. **Schwache Generalisierung**\ Modelle sind oft auf *eine* Umgebung trainiert; schon kleine Änderungen lassen die Leistung einbrechen. 7. **Sicherheits- und Compliance-Fragen**\ Autonome Agenten müssen begrenzt und auditierbar sein, um Risiken in kritischer Infrastruktur zu vermeiden. *** ### Datenknappheit – die größte Hürde im Smart Building Als wären Hyperparameter-Tuning, Reward-Design und Instabilität nicht schon Herausforderung genug, trifft Reinforcement Learning im Gebäudebetrieb auf ein zusätzliches Kernproblem: **zu wenig Rohdaten**.\ Typische BMS- oder Wärmepumpen­anlagen liefern Messpunkte **im 5-Minuten-Takt**. Bei einem Schritt pro 5 Minuten summiert sich das in einem Jahr nur auf rund **100 000 Zeitstempel** – Größenordnungen entfernt von den **Millionen Interaktionen**, die klassische RL-Algorithmen für robuste Politiken verlangen. *** ### **Lösungsansätze, um das Datenloch zu füllen**
AnsatzIdeeVor- und Nachteile
High-Fidelity Digital TwinEin voll­ständiges Simulations­modell des Gebäudes (z. B. EnergyPlus), das bis hin zu Wand­aufbauten, Fensterglas, Belegung und Wetter exakte thermische Antworten liefert. RL sammelt seine Millionen Schritte in der Simulation.+ Physikalisch fundiert
+ Keine Live-Risiken
– BIM-Erstellung & Kalibrierung aufwendig
– Rechenlast für lange Rollouts
Model-based RL / WeltmodelleStatt schwerer Physik nutzt man ein lern­basiertes Weltmodell, das aus den 100 000 Log-Samples eine differenzierbare Mini-Welt extrahiert. Darin kann der Agent Millionen „geträumte“ Schritte pro GPU-Minute erleben.

+ Extrem daten­effizient (oft < 10 000 reale Schritte bis Nutzen)
+ Kontinuierliches Online-Finetuning

+ Sofort einsatzbereit wenn auf daten vor trainiert
– Model lernt nur bereits erlebte Bereiche der Daten

Offline RL & Imitations­lernenRL lernt ausschließlich aus den vorhandenen Logs (BCQ, CQL …) also lernt diese erst zu Imitieren und von da aus zu verbessern, überschreibt die Politik aber nie mit Aktionen, die nicht im Daten­speicher vorkommen.+ Kein Twin nötig
+ Sofort einsatzbereit
– Qualität hängt direkt an Log-Diversität
*** ## Wie Eliona alle RL-Hürden meistert: Weltmodell + Simulationsschritte Wir verfolgen bei Eliona einen **weltbasierten RL-Ansatz**: Ein neuronales Weltmodell erlernt aus historischen und Live-Daten die Dynamik des Gebäudes bei bedarf – inklusive Wetter, Belegung oder Fensteröffnungen. Darauf trainiert ein RL-Agent via Simulation („Traumschritte“) seine Steuerungsstrategie, testet tausende Aktionen pro echtem Schritt und lernt so daten­effizient, robust und sicher.
### **Hoher Datenbedarf** **Problem:** Klassische RL benötigt Millionen Real-Interaktionen – bei 5-Minuten-Takt und \~100 000 Zeitstempeln pro Jahr unerreichbar.\ **Lösung:** * Ein vortrainiertes Weltmodell absorbiert die 100 000 historischen Samples und generiert daraus eine Mini-Welt, in der der Agent unbegrenzt simulieren kann. * Bereits nach ≈ 2 000 echten Schritten zeigen Tests deutliche Einsparungen. * Offline-Vortraining + Millionen Simulationsschritte ermöglichen den Start mit einem direkt einsatzfähigen Modell – ganz ohne Live-Trainingsphase. ### **Empfindliches Hyperparameter-Tuning** **Problem:** Lernraten, Netzarchitekturen und Regularisierer erfordern sonst mühsame Grid-Search und Experten­wissen.\ **Lösung:** * Unser weltbasiertes System wurde auf Dutzenden RL Problemen kalibriert. * Ein robuster Default-Parametersatz liefert sofort reproduzierbare Performance – ganz ohne zusätzliches Tuning. ### **Belohnungsdesign & „Reward-Hacking“** **Problem:** Falsch definierte Rewards führen zu unerwünschten Strategien oder Exploit-Verhalten.\ **Lösung:** * Nutzer definieren per GUI nur noch Zielbereiche (z. B. 21–23 °C) und Kennzahlen, die minimiert oder maximiert werden sollen (Kosten, CO₂, Spitzenlast). * Eliona generiert im Hintergrund eine erprobte, an die Anlagen­struktur angepasste Reward-Funktion. * So bleibt der Reward verständlich, sicher und frei von Fehlanreizen. ### **Exploration vs. Exploitation & lokale Optima** **Problem:** Zu frühes Ausnutzen bekannter Aktionen blockiert das Finden globaler Optima.\ **Lösung:** * Breite Erforschung aller Strategien erfolgt risikolos in der Mini-Welt. * In der Realität wird nur die aktuell beste Strategie angewendet. * Langzeittests zeigen stets Konvergenz auf optimale Betriebsweisen statt auf suboptimale Plateaus. ### **Instabilität und Reproduzierbarkeit** **Problem:** Modelle, die je nach Zufalls­seed oder Trainingslauf stark variieren, sind im realen Betrieb unzuverlässig.\ **Lösung:** * HVAC-Benchmarks dokumentieren einen eng begrenzten Lernhorizont von **1 000–2 000 realen Schritten** – unabhängig von Seed. * Resultate sind planbar und ROI-Schätzungen verlässlich. ### **Schwache Generalisierung** **Problem:** Modelle, die nur auf Sommer- oder Testdaten trainiert wurden, versagen bei echten Betriebs­änderungen.\ **Lösung:** * Kontinuierliches Online-Finetuning: Neu einlaufende 5-Minuten-Daten aktualisieren das Weltmodell und damit die Steuerungsstrategie. * Das System adaptiert binnen **weniger Tage** an neue Jahreszeiten, Umbauten oder Tarifwechsel. ### **Sicherheits- und Compliance-Fragen** **Problem:** Autonome Aktionen ohne Kontroll­mechanismen können Comfort- oder Safety-Grenzen überschreiten.\ **Lösung:** * Über die integrierte Regelketten-Engine lassen sich **harte Komfort- und Sicherheits­schwellen** definieren. * Bei Grenzwertverstößen oder unerwarteten Aktionen schaltet Eliona selbstständig auf einen bewährten Fallback-Regler um und löst eine Alarm­eskalation aus. Dank dieses Ansatzes erzielt Eliona mit RL **doppelt-digitige Energie- und Kosteneinsparungen**, während Komfort und Sicherheit höchsten Ansprüchen genügen – und das ohne jahrelange Datensammlung oder Experten-Feintuning. *** ## **Einfache Inbetriebnahme über die RL-App** Die Konfiguration in Eliona ist bewusst auf Minimalaufwand ausgelegt – ganz ohne Code: 1. **Assets auswählen**\ Wähle im RL-App-Interface die Gebäude­teile, Anlagen oder Sensor-Gruppen aus, die Feedback liefern sollen (z. B. Raumklimaanlagen, Wärmepumpe, Fensterkontakte). 2. **Regelbare Attribute festlegen**\ Markiere, welche Stellgrößen der Agent beherrschen darf (z. B. Vorlauf­temperatur, Lüfterdrehzahl, Drosselklappe). 3. **Zieldefinition ganz einfach**\ Gib je Attribut an, ob es in einem Bereich gehalten (z. B. 21 – 23 °C), minimiert (Kosten, CO₂) oder maximiert (COP, Eigenverbrauchs­quote) werden soll – oder ob ein dynamischer oder exakter Sollwert gelten soll. 4. **Starten & Beobachten**\ Das System zieht sich automatisch die letzten historischen Daten, baut das Weltmodell auf und beginnt sofort mit Offline-Training. Im Anschluss kann der Agent jederzeit live geschaltet werden – per Klick. Ab diesem Punkt lernt er vollautomatisch: Erst offline aus der Historie, dann mit jedem eingehenden Datenpunkt on-the-fly. *** ## Drei praxisbewährte RL-Anwendungen im Gebäudebetrieb Neueste Studien und Feldversuche belegen, dass Reinforcement Learning bereits heute zweistellige Energieeinsparungen und Komfortgewinne ermöglicht – ganz ohne jahrelange Datensammlung. Im Folgenden drei solide Beispiele, in denen RL-Systeme auf reale Gebäude angewandt wurden, inklusive Konfigurations­überblick, erzielter Resultate und Quellenhinweisen. ### 1. Bürogebäude–HVAC: 12 % Energie- & 28 % Komfort­verbesserung **Szenario & Ziel:**\ Ein mehrstöckiges Bürogebäude nutzt Deep RL, um den Heizung-, Lüftungs- und Klimaanlagen­betrieb zu optimieren. Ziel ist es, den Energieverbrauch um zweistellige Prozentwerte zu senken und Komfortverletzungen (Temperaturschwankungen außerhalb des Zielbereichs) zu minimieren. **RL-App-Konfiguration (Beispiel):** * **Daten-Inputs:** Innentemperatur, Außentemperatur, Belegungs­grade, Fenster­kontakte, Historische HVAC-Aktoren­sollwerte * **Steuerbare Aktoren:** Vorlauf­temperatur, Ventilator­stufen * **Reward-Definition:** Temperatur in \[21 °C, 23 °C] *halten*, Energieverbrauch *minimieren.* **Ergebnis:**\ In der Simulation und im anschließenden Feldtest erzielte das RL-System **12 % weniger Energie­­verbrauch** und **28 % geringere Komfortverletzungen** im Vergleich zu PID- und Zeitplandatensteuerung [ScienceDirect](https://www.sciencedirect.com/science/article/abs/pii/S0360544224001154?utm_source=chatgpt.com). ### 2. Hochhaus in Manhattan: 15,8 % weniger HVAC-Energie **Szenario & Ziel:**\ Ein 32-stöckiges Bürohochhaus in New York City setzt ein kommerzielles, KI-gestütztes RL-System zur Reduktion der Heiz- und Kühlkosten ein. **RL-App-Konfiguration (Beispiel):** * **Daten-Inputs:** Gebäude- und Zonen­temperaturen, Außentemperatur, Belegungs­daten, Echtzeit­tarife * **Steuerbare Aktoren:** Heiz-/Kühlkreisläufe, Ventilator­steuerung * **Reward-Definition:** Minimierung des Gesamt­energiebezugs, Einhaltung von Komfort­bändern **Ergebnis:**\ Die KI senkte den HVAC-Energieverbrauch um **15,8 %**, sparte jährlich rund 37 t CO₂ und 42 000 $ Kosten – alles vollautomatisch und ohne Eingriffe seitens des Gebäudemanagements [TIME](https://time.com/7201501/ai-buildings-energy-efficiency/?utm_source=chatgpt.com). ### 3. DFAB House (Empa): Bis zu 30 % Energie­einsparung **Szenario & Ziel:**\ Im Forschungsgebäude DFAB House (Empa, Schweiz) wurde ein RL-Agent trainiert, der Raumtemperatur und bidirektionales E-Fahrzeug­laden gemeinsam optimiert. **RL-App-Konfiguration (Beispiel):** * **Daten-Inputs:** Raum­temperatur, Außen­wetterdaten, PV-Erzeugung, EV-SoC, Stromtarif * **Steuerbare Aktoren:** Heizkörper­sollwert, Ladestation­leistung * **Reward-Definition:** Maximierung von Komfort-Score + PV-Eigenverbrauch, Minimierung von Netz­bezugskosten **Ergebnis:**\ Im realen Drei-Wochen-Feldtest während der Heizperiode erreichte das RL-System **bis zu 30 % Energie­einsparung** gegenüber konventionellen Reglerstrategien, bei gleichbleibendem Komfortniveau [arXiv](https://arxiv.org/abs/2103.01886?utm_source=chatgpt.com). ### **Schlussfolgerung:** Diese Szenarien zeigen, dass RL-gestützte Anwendungen in unterschiedlichsten Gebäudetypen und Betriebsmodi heute einsatzreif sind. Mit einfachen Konfigurationsschritten in der Eliona-RL-App lassen sich mit wenigen Klicks ähnliche Ergebnisse erzielen – von Bürokomplexen über Hochhäuser bis zu intelligenten Forschungsgebäuden.