> For the complete documentation index, see [llms.txt](https://docs.buildings.ability.abb/collection/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.buildings.ability.abb/collection/german/akademie/building-intelligence-ki-und-maschinelles-lernen-in-buildingpro-suites/maschinelles-lernen/optimierung-mithilfe-von-reinforcement-learning.md). # Optimierung mithilfe von Reinforcement Learning Bestärkendes Lernen ist ein Zweig des maschinellen Lernens, der sich darauf konzentriert zu lernen, welche Aktionen im Laufe der Zeit zu den besten Ergebnissen führen. Im Kontext intelligenter Gebäude ist es besonders nützlich für Optimierungsaufgaben, bei denen es nicht nur darum geht vorherzusagen, was geschehen wird, sondern darum, Aktionen zu wählen, die die Energieeffizienz, den Komfort und die betriebliche Effizienz verbessern. In ABB Ability™ BuildingPro Suites passt dieses Thema sehr gut zur breiteren Plattformvision. BuildingPro Suites ist als einheitliche Cloud-Intelligence-Plattform positioniert, die Gebäudeautomation, Heizung, Lüftung und Klimatisierung (HVAC), Energie, Information Technology (IT), Operational Technology (OT) und andere Systeme verbindet, um Dashboards, prädiktive Werkzeuge und Intelligenz bereitzustellen. Die öffentliche Produktpositionierung verweist außerdem auf proaktive KI, die den Bedarf vorhersagt, die Ressourcennutzung optimiert und Anomalien aufdeckt, bevor sie zu Problemen werden \[1]. Die Plattform bietet außerdem einen strukturierten Gebäudekontext über Tags, Asset-Vorlagen, Asset-Instanzen, Punkte, verschachtelte Assets, Integrationen, APIs und Apps, die allesamt relevante Grundlagen für Optimierungs-Workflows sind \[2]. Die verfügbaren Quellen beschreiben Bestärkendes Lernen nicht als ein spezifisch dokumentiertes Produktmodul. Aus diesem Grund erklärt diese Seite Bestärkendes Lernen als Optimierungsansatz im Kontext von BuildingPro Suites und nicht als derzeit dokumentierten, sofort nutzbaren Funktionsumfang \[1]\[2]. ### Was ist Bestärkendes Lernen? Bestärkendes Lernen, oder RL, ist eine Art des maschinellen Lernens, bei der ein System durch die Interaktion mit einer Umgebung lernt. Anstatt für jede Situation die richtige Antwort gesagt zu bekommen, probiert es Aktionen aus, erhält Feedback und lernt allmählich, welche Aktionen zu besseren langfristigen Ergebnissen führen. Die Grundidee ist einfach. Ein lernendes System beobachtet die aktuelle Situation, führt eine Aktion aus und erhält eine Belohnung oder Bestrafung. Mit der Zeit lernt es eine Strategie, die die Gesamtbelohnung verbessert. In Bezug auf Gebäude bedeutet das, dass das System nicht nur das Gebäudeverhalten analysiert. Es lernt, welche Entscheidungen unter sich ändernden Bedingungen am nützlichsten sind. ### Warum ist Bestärkendes Lernen in intelligenten Gebäuden nützlich? Viele Probleme in intelligenten Gebäuden sind nicht nur Vorhersageprobleme. Es sind Entscheidungsprobleme. Prognosen können den zukünftigen Energiebedarf schätzen. Anomalieerkennung kann ungewöhnliches Verhalten identifizieren. Vorausschauende Wartung kann Systeme hervorheben, die Aufmerksamkeit benötigen könnten. Bestärkendes Lernen beantwortet eine andere Frage: **Welche Aktion sollte jetzt ergriffen werden, um zukünftige Ergebnisse zu verbessern?** Das ist besonders wichtig in Gebäuden, weil viele Entscheidungen verzögerte Auswirkungen haben. Eine Änderung eines Sollwerts kann später den Raumkomfort beeinflussen. Eine Lastverschiebungsentscheidung kann die Spitzenlast reduzieren, aber andere Systeme beeinflussen. Eine Steuerungsaktion, die jetzt Energie spart, kann später Unbehagen erhöhen, wenn sie nicht sorgfältig gewählt wird. Bestärkendes Lernen ist in diesen Situationen nützlich, weil es für sequentielle Entscheidungsfindung ausgelegt ist, bei der jede Aktion zukünftige Zustände beeinflusst. ### Bestärkendes Lernen im Vergleich zu Prognosen und Anomalieerkennung Es ist hilfreich, Bestärkendes Lernen von anderen KI-Fähigkeiten zu unterscheiden. **Prognose** schätzt, was voraussichtlich als Nächstes passieren wird. **Anomalieerkennung** identifiziert Verhalten, das von dem Erwarteten abweicht. **Bestärkendes Lernen** wählt Aktionen aus, von denen erwartet wird, dass sie die Ergebnisse im Laufe der Zeit verbessern. Diese Ansätze ergänzen sich. Ein Prognosemodell kann den zukünftigen Bedarf schätzen.\ Ein Anomalie-Modell kann ungewöhnliches Systemverhalten identifizieren.\ Ein System für Bestärkendes Lernen kann diese Informationen nutzen, um bessere Optimierungsentscheidungen zu unterstützen. ### Grundkonzepte des Bestärkenden Lernens Bestärkendes Lernen wird gewöhnlich anhand von vier Hauptkonzepten erklärt. #### Zustand Die **Zustand** ist die zu einem bestimmten Zeitpunkt verfügbare Information. In einem Gebäude kann dies Folgendes umfassen: * Temperaturen * Luftfeuchtigkeit * Energieverbrauch * Systembetriebszustände * Wetterbedingungen * Belegung oder Personenanzahl * Tageszeit * Wochentag Der Zustand stellt die aktuelle Situation dar, auf deren Grundlage eine Entscheidung getroffen werden muss. #### Aktion Die **Aktion** ist die Entscheidung, die das System treffen kann. Im Gebäudekontext könnten Aktionen Folgendes umfassen: * einen Sollwert anpassen * einen Betriebsmodus ändern * Last verschieben * zwischen Steuerungsstrategien auswählen * eine betriebliche Intervention empfehlen Der Aktionsraum muss sorgfältig definiert werden, insbesondere in realen Gebäudeumgebungen. #### Belohnung Die **Belohnung** ist das Feedback-Signal. Es teilt dem System mit, ob die Aktion zu einem besseren oder schlechteren Ergebnis geführt hat. In Gebäuden kann eine Belohnung ein oder mehrere Ziele widerspiegeln, wie zum Beispiel: * geringerer Energieverbrauch * geringere Spitzenlast * verbesserter Komfort * geringere Emissionen * geringere Beanspruchung der Anlagen * weniger unnötige Steuerungsänderungen Die Gestaltung der Belohnung ist einer der wichtigsten Teile des Bestärkenden Lernens. #### Politik Die **Politik** ist die Strategie, die das System lernt. Sie bildet den aktuellen Zustand auf die Aktion ab, von der erwartet wird, dass sie zum besten langfristigen Ergebnis führt. Einfach ausgedrückt ist die Politik das, was das System des Bestärkenden Lernens darüber gelernt hat, wie es handeln soll. ### Optimierungsziele in Gebäuden Bestärkendes Lernen ist besonders relevant, wenn es mehrere Ziele gibt, die gleichzeitig ausbalanciert werden müssen. Typische Optimierungsziele in Gebäuden sind: * den Energieverbrauch senken * die Spitzenlast senken * die Komfortstabilität verbessern * die CO2-Belastung senken * unnötigen Verschleiß der Anlagen vermeiden * Kosten und Komfort ausbalancieren * kurzfristige und langfristige Effizienz ausbalancieren Das sind schwierige Probleme, weil die Ziele miteinander in Konflikt stehen können. Eine energieärmere Aktion ist nicht immer die beste Komfortaktion. Eine schnelle Reaktion ist nicht immer die beste langfristige Steuerungsstrategie. Bestärkendes Lernen ist nützlich, weil es diese Zielkonflikte im Laufe der Zeit lernen kann. ### Typische Anwendungsfälle Bestärkendes Lernen kann auf eine Reihe von Optimierungsproblemen in intelligenten Gebäuden angewendet werden. #### Optimierung der HVAC-Steuerung Heizungs-, Lüftungs- und Kühlsysteme arbeiten kontinuierlich und reagieren auf sich ändernde Bedingungen. RL kann genutzt werden, um bessere Steuerungsaktionen bei wechselndem Wetter, Belegung und Gebäudestatus zu erlernen. #### Optimierung von Sollwerten Anstatt sich auf feste Sollwerte oder manuell abgestimmte Strategien zu verlassen, kann RL lernen, wie Sollwerte im Laufe der Zeit angepasst werden sollten, um die Gesamtergebnisse zu verbessern. #### Demand Response und Lastverschiebung Wenn sich Energiepreise oder Netzbedingungen im Laufe der Zeit ändern, kann RL dabei helfen, Aktionen zu wählen, die Spitzenlasten reduzieren oder den Bedarf verschieben, während ein akzeptabler Komfort und Betrieb erhalten bleiben. #### Ausgleich zwischen mehreren Zonen Gebäude erfordern oft Kompromisse zwischen mehreren Räumen oder Systemen. RL kann helfen, Entscheidungen in einem Bereich zu optimieren, ohne an anderer Stelle schlechte Ergebnisse zu erzeugen. #### Ausgleich zwischen Energie und Komfort Dies ist einer der klarsten Anwendungsfälle für RL. Das System lernt, wie sich der Energieverbrauch senken lässt, während der Komfort innerhalb akzeptabler Grenzen bleibt. ### Warum Kontext wichtig ist Bestärkendes Lernen hängt stark vom Kontext ab. Eine gute Aktion in einer Situation kann in einer anderen die falsche Aktion sein. Das bedeutet, dass das Lernsystem hochwertige Informationen über den Gebäudestatus benötigt. Nützlicher Kontext kann Folgendes umfassen: * Wetter * Belegung * Personenanzahl * Zeitpläne * Anlagenzustand * Raumbedingungen * historisches Verhalten * aktueller Bedarf * kürzliche Steuerungsaktionen Hier wird der Plattformkontext von BuildingPro Suites wichtig. BuildingPro Suites ist darauf ausgelegt, mehrere Gebäude- und IoT-Systeme zu verbinden und Daten über Tags, Asset-Vorlagen, Instanzen, Punkte, verschachtelte Assets und Integrationen zu strukturieren \[1]\[2]. Eine solche vernetzte und strukturierte Datenumgebung ist für Optimierungsaufgaben äußerst relevant. ### Sicherheit, Einschränkungen und menschliche Aufsicht Bestärkendes Lernen ist leistungsfähig, aber die Gebäudeoptimierung erfordert Vorsicht. Echte Gebäude sind keine Spielumgebungen. Aktionen können Komfort, Sicherheit, Kosten und den Anlagenbetrieb beeinflussen. Aus diesem Grund sollte RL mit klaren Grenzen und starken Schutzmechanismen eingesetzt werden. Wichtige Sicherheitsprinzipien sind unter anderem: * den Aktionsraum begrenzen * harte betriebliche Grenzen definieren * regelbasierte Fallback-Logik beibehalten * vor dem Live-Einsatz in einer Simulation testen * zunächst im Empfehlungsmodus beginnen, bevor automatisiert wird * bei Bedarf die menschliche Freigabe beibehalten * Ergebnisse kontinuierlich überwachen Im Gebäudekontext ist das nicht optional. Optimierung muss immer durch Betriebsregeln und ingenieurtechnisches Urteilsvermögen begrenzt bleiben. ### Bestärkendes Lernen im Kontext von BuildingPro Suites BuildingPro Suites ist öffentlich rund um prädiktive Werkzeuge, proaktive KI, Optimierung der Ressourcennutzung und skalierbare Gebäudeintelligenz positioniert \[1]. Außerdem bietet es flexible Integration und semantische Struktur über Tags, Vorlagen, Assets, Punkte, APIs und Apps \[2]. Dies sind wichtige grundlegende Voraussetzungen für Optimierung mit Bestärkendem Lernen. Der Plattformkontext ist besonders relevant, weil RL Folgendes benötigt: * vernetzte Daten aus mehreren Systemen * eine klare Asset- und Punktestruktur * skalierbare Ausführung * Integration in Workflows und Anwendungen * Transparenz über Ergebnisse BuildingPro Suites bietet diese umgebenden Grundlagen, was es zu einer geeigneten Umgebung für optimierungsorientierte KI-Arbeit macht \[1]\[2]. ### Grenzen des Bestärkenden Lernens Bestärkendes Lernen ist nicht für jedes Problem die richtige Lösung. Es kann unnötig sein, wenn: * eine einfache Regel ausreicht * allein die Prognose den Anwendungsfall löst * der Entscheidungsraum klein und fest ist * die Aktion keine sinnvolle langfristige Wirkung hat Es bringt auch Herausforderungen mit sich: * die Belohnungsgestaltung kann schwierig sein * der sichere Einsatz erfordert starke Leitplanken * Gebäudeumgebungen verändern sich im Laufe der Zeit * schlechte Zustandsinformationen führen zu schlechten Entscheidungen * gelernte Politiken müssen weiterhin bewertet und überwacht werden Aus diesem Grund sollte RL dort eingesetzt werden, wo Optimierung über die Zeit wirklich erforderlich ist, nicht als Ersatz für alle anderen Methoden. ### Fazit Bestärkendes Lernen ist ein Ansatz des maschinellen Lernens, der sich darauf konzentriert, Aktionen zu wählen, die die Ergebnisse im Laufe der Zeit verbessern. In intelligenten Gebäuden ist es daher besonders relevant für Optimierungsprobleme wie die HVAC-Steuerung, Lastverschiebung, Sollwertwahl und den Ausgleich zwischen Energie und Komfort. Im Kontext von BuildingPro Suites passt Bestärkendes Lernen natürlich in die breitere KI-Vision aus prädiktiven Werkzeugen, proaktiver KI und optimierter Ressourcennutzung \[1]. Die vernetzten Daten, das strukturierte Asset-Modell, Integrationen und die skalierbare Architektur der Plattform bieten wichtige Grundlagen für diese Art von Optimierungsarbeit \[1]\[2]. Bestärkendes Lernen erweitert KI damit in eine nützliche Richtung. Es geht vom Verstehen des Gebäudeverhaltens hin zur Verbesserung desselben durch bessere Entscheidungen im Laufe der Zeit. --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter, and the optional `goal` query parameter: ``` GET https://docs.buildings.ability.abb/collection/german/akademie/building-intelligence-ki-und-maschinelles-lernen-in-buildingpro-suites/maschinelles-lernen/optimierung-mithilfe-von-reinforcement-learning.md?ask=&goal= ``` `ask` is the immediate question: it should be specific, self-contained, and written in natural language. `goal` is optional and describes the broader end goal you are ultimately trying to accomplish on behalf of the user. GitBook uses it to tailor the answer towards what is most useful for that goal. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.