IEEE Power & Energy Magazine - Spanish - May/June 2022 - 53

se calcula de acuerdo con la cantidad de grados en los que
la temperatura interior se desvía del nivel de confort del
usuario. El entorno es el edificio o la vivienda completos,
incluido el sistema de HVAC.
Este proceso de aplicar aprendizaje profundo por refuerzo
para el control de HVAC se ilustra en la figura 1. Nótese que
no definimos la probabilidad de transición del estado para el
proceso. La probabilidad refiere a la probabilidad de convertirse
en un estado próximo específico después de implementar
una acción en el estado actual. Si el modelo de probabilidad
de transición del estado es conocido, el problema
de control de HVAC se puede formular de manera explícita
y resolver de manera analítica. No obstante, obtener un
modelo de probabilidad de transición del estado preciso para
el problema de control de HVAC no es una tarea trivial. Esto
se debe a que el modelo térmico
dinámico de los edificios con sistemas
de HVAC se relaciona con
varios parámetros, incluidas las
resistencias y los condensadores
de distintos componentes; los
factores climáticos, como la temperatura
externa y la irradiancia
solar; etc.
Por lo tanto, como ya se mencionó,
un abordaje libre de modelos
como el del AR es más adecuado
para resolver el problema
de control de HVAC. Además, los
modelos de los edificios pueden
variar, y necesitamos un abordaje
de control de HVAC más generalizado
y robusto que pueda funcionar
con eficiencia en distintos
entornos de edificios. El aprendizaje
profundo
por
refuerzo,
con
la poderosa RNP integrada
que brinda más generalización
y adaptabilidad, es un abordaje
ideal para obtener una estrategia
de control de HVAC flexible e
inteligente. En las siguientes secciones
se tratará el abordaje de
aprendizaje profundo por refuerzo
en mayor detalle.
Red deep-Q para el
control de HVAC
La red deep-Q (DQN) es una
combinación de aprendizaje-Q y
una RNP. La idea principal detrás
de la DQN es construir una red
neuronal para estimar la acción
de control óptima en un dominio
discreto. La red neuronal funmayo/junio
2022
Sistema de HVAC
residencial
Estado del
sistema
Puntos
de ajuste
Entorno
Red de
Recopilación de
datos
Búfer de
respuesta
comportamiento
Red
objetivo
Minimizar la diferencia
Crítico: evalúa las medidas
Entrenamiento por minilote
(b)
figura 2. Un marco de control de HVAC de múltiples zonas con (a) una DQN y
(b) un DDPG. DDPG: deep deterministic policy gradient, gradiente de política determinista
profundo.
ieee power & energy magazine
53
Entorno
Recopilación de
datos
Búfer de
respuesta

Entrenamiento por minilote
(a)
Actor: produce las medidas
Agente de AR DQN
Red de
comportamiento
Maximizar
el valor Q
Actualización
de software
Actualización
de software
Red
objetivo
Medida
ciona como una tabla de búsqueda compleja, en la que los
datos de entrada son un estado y los de salida son los valores
de acción para todas las posibles acciones de control en el
estado actual. En la DQN, este valor de acción se llama el
valor-Q, en el que un valor más alto indica una acción mejor
o más efectiva. Este abordaje de la DQN selecciona la acción
con el valor-Q más alto evaluado por la red neuronal.
El abordaje de DQN adopta una estrategia de estabilización
para entrenar a dos redes neuronales en simultáneo, es
decir, las redes objetivo y de comportamiento. La función de
la red objetivo es brindar muestras rotuladas como estables
para que aprenda la red de comportamiento. La DQN converge
cuando los datos de salida de las dos redes se acercan
uno al otro. En la figura 2(a) se muestra una mirada general
del abordaje de DQN para el control de HVAC.
Agente de AR DQN
Sistema de HVAC
residencial
Estado
del sistema
Puntos
de ajuste
Actualización
del comportamiento
de la red
P = Pérdida de DQN
ValoresQ actuales Valores Q objetivo
Red de
comportamiento
Actualización
de software
Red
objetivo

IEEE Power & Energy Magazine - Spanish - May/June 2022

Table of Contents for the Digital Edition of IEEE Power & Energy Magazine - Spanish - May/June 2022