AES0625

Automazione e Strumentazione Settembre 2025 Tecnica 93 CONTROLLO tura. In risposta a questa complessità, la comuni- tà scientifica ha iniziato a esplorare approcci più flessibili, tra cui quelli basati sull’intelligenza ar- tificiale. Tra questi, il Reinforcement Learning (RL) e in particolare il Meta-Reinforcement Learning (Meta-RL) rappresentano strumenti promettenti per progettare controllori intelligenti, capaci di adattarsi in tempo reale al comporta- mento dell’edificio, anche in presenza di notevo- li incertezze. Il lavoro qui presentato si focalizza proprio sullo sviluppo di un algoritmo di controllo termico basato su Meta-RL capace di funziona- re efficacemente su una varietà di edifici, senza richiedere un modello dettagliato di ognuno di essi. Il progetto ha preso ispirazione da tecniche avanzate nel campo della robotica, adattandole al mondo del controllo termico negli edifici. Reinforcement Learning: un’intelligenza che apprende Il Reinforcement Learning è un paradigma di apprendimento automatico in cui un agente in- teragisce con un ambiente prendendo decisioni e ricevendo feedback sotto forma di ricompense. L’obiettivo è apprendere una politica di controllo che massimizzi una ricompensa cumulativa, sen- za che sia necessario fornire un modello matema- tico esplicito del sistema [1]. Nel contesto del controllo della temperatura, que- sto si traduce in un agente che, osservando lo sta- to dell’edificio (temperature interne, condizioni esterne, presenze ecc.), decide come agire sugli impianti per raggiungere l’equilibrio tra comfort e consumo energetico. I principali vantaggi del RL nel controllo sono: • Adattabilità a sistemi non lineari o con dina- miche complesse. • Capacità di ottimizzare obiettivi multipli , co- me comfort e consumo. • Nessuna necessità di un modello esatto del si- stema. Tuttavia, presenta anche limit i: • L’addestramento richiede molti dati e simula- zioni . • Ogni agente è generalmente valido solo per l’ambiente su cui è stato addestrato. • Trasferire il controllo a un nuovo edificio ri- chiede un nuovo (costoso) addestramento. Meta-Reinforcement Learning: imparare ad adattarsi Per superare i limiti della RL tradizionale, si ri- corre al Meta-Reinforcement Learning, un ap- proccio che punta a costruire un agente in grado non solo di imparare cosa fare, ma anche come apprendere rapidamente in ambienti nuovi [2]. Nel caso del controllo di edifici, un agente Meta- RL è addestrato su una varietà di modelli sempli- ficati di edifici diversi. Una volta installato su un nuovo edificio reale, è in grado di adattarsi alla nuova dinamica dopo una breve fase di osserva- zione (senza bisogno di riaddestramento com- Esempio di comportamento del controllore nel caso più difficile da scaldare (Giallo = Setpoint, Rosso = Temperatura interna, Blu = Temperatura acqua)