IEEE Power & Energy Magazine - Spanish - May/June 2022 - 54

Gradiente de política determinista profundo
para el control de HVAC
El gradiente de política determinista profundo (DDPG, por
sus siglas en inglés) para el control de HVAC está especialmente
diseñado para resolver problemas con variables
continuas. En el control descrito de DQN, la red neuronal
produce todos los posibles valores de acción, y la cantidad
de valores de acción generados es limitada. Como resultado,
el algoritmo procesa acciones discretas. En el caso del
control de HVAC, dada la acción de control como el punto
de ajuste y un rango de ejemplo para el punto de ajuste de
20 a 22 °C, tenemos que discretizar el rango propuesto.
Por ejemplo, si establecemos el tamaño del paso en 1 °C,
el conjunto potencial de acciones se convierte en {20 °C,
21 °C, 22 °C}, y el algoritmo aprende a elegir entre las tres
-500
-1,000
-1,500
-2,000
-2,500
-3,000
acciones. En contraste con esto, el algoritmo del DDPG no
requiere que el espacio de acción se discretice. Dado que
el rango del punto de ajuste es [20 °C, 22 °C], el algoritmo
puede generar un número continuo dentro de este rango. La
capacidad de manejar un espacio de acción continuo hace
que el algoritmo del DDPG sea más adecuado para resolver
problemas en los que la acción de control es una variable
continua.
El algoritmo del DDPG se puede considerar una extensión
del algoritmo de la DQN. En el algoritmo, hay dos tipos
de redes neuronales aplicadas: las redes críticas y del actor.
La red del actor produce una acción de control determinista
basada en el estado actual dado. La red crítica produce el
valor-Q de acuerdo con el estado y la acción proporcionados
por la red del actor. La red del actor se actualiza al maximizar
el valor-Q conforme la política actual, y la red crítica
se actualiza al minimizar el error cuadrático medio del
valor-Q, que es igual que el algoritmo de la DQN. Además,
el algoritmo del DDPG adopta una estrategia de estabilización
al implementar las redes de objetivo y comportamiento
para las redes del actor y críticas, lo que es similar al algoritmo
de la DQN. En la figura 2(a) se muestra una mirada
general del abordaje del DDPG para el control de HVAC.
02040
Episodio
(a)
380
340
360
320
300
280
260
240
220
200
02040
Episodio
(b)
7,000
6,000
5,000
4,000
3,000
2,000
1,000
02040
Episodio
(c)
figura 3. El rendimiento del entrenamiento del algoritmo
de la DQN con la estrategia de control discreta: (a)
la recompensa acumulativa episódica, (b) el costo de la
operación, y (c) los minutos por fuera del nivel de confort.
54
ieee power & energy magazine
60
80
Reducción de costo
del 23 %
60
80
60
80
Evaluación mediante simulación de una
estrategia de control de HVAC basada en
aprendizaje profundo por refuerzo
Nuestro principal objetivo es evaluar el rendimiento de la
estrategia de control de HVAC basada en el aprendizaje
profundo por refuerzo en un entorno real. No obstante, no
se puede implementar un algoritmo de AR directamente en
un entorno real y permitirle que aprenda desde cero por dos
motivos principales:
✔ Los abordajes basados en AR son esencialmente métodos
de prueba y error (si bien tienen marcada inteligencia)
en los que un algoritmo de AR interactúa con
el entorno (es decir, el edificio o vivienda) y aprende
de él según la recompensa (es decir, el costo de operación)
del entorno. Según la aplicación, el algoritmo de
AR puede necesitar mucha experiencia para aprender
a comportarse de manera óptima.
✔ Durante la fase inicial de aprendizaje, un algoritmo de
AR tiende a tomar acciones aleatorias para explorar y
entender el entorno. Sin embargo, a los propietarios de
viviendas no les agradará si el AR designa puntos de
ajuste aleatorios en sus termostatos. Entonces, en lugar
de implementar directamente un algoritmo de AR desde
cero en un entorno real, como un edificio o una vivienda,
lo entrenamos y validamos en un entorno simulado
como punto de partida, lo que fomenta un desarrollo
más rápido y la superación del desafío de entrenar el
AR en situaciones reales. Una vez que nos satisface su
rendimiento en la simulación, podemos lanzar el modelo
de AR previamente entrenado (el algoritmo de AR
entrenado e implementable) en una vivienda real.
mayo/junio 2022
Minutos por fuera del confort
Recompensa acumulativa episódica
Costo
IEEE Power & Energy Magazine - Spanish - May/June 2022

Table of Contents for the Digital Edition of IEEE Power & Energy Magazine - Spanish - May/June 2022
