IEEE Power & Energy Magazine - Spanish - May/June 2022 - 55

En esta sección, introducimos el entrenamiento y la validación
de una estrategia de control de HVAC residencial de
múltiples zonas basada en aprendizaje profundo por refuerzo
en un banco de pruebas de simulación con datos reales. Las
comparaciones del rendimiento con las estrategias de control
de referencia demuestran la eficiencia y la capacidad de
generalización de los abordajes de aprendizaje profundo por
refuerzo libres de modelos.
Configuración de la simulación
El modelo HVAC de edificio simulado requiere datos climáticos
y del precio. Los datos climáticos se obtienen de datos
de un año meteorológico típico (TMY, por sus siglas en
inglés) de 2019 a 2020 en Knoxville registrados por el Laboratorio
Nacional de Energía Renovable. Para los datos de
precios, se aplican las señales de precio al tiempo de uso con
un precio máximo de US$ 0.25/kWh y un precio mínimo de
US$ 0.05/kWh. Estos conjuntos de datos de entrada se
aplican a un software de banco de pruebas de un edificio
simulado para la subsiguiente validación y entrenamiento
de estrategias de control de HVAC basadas en aprendizaje
profundo por refuerzo.
Entrenamiento y validación de
la DQN para el control de HVAC
Primero presentamos el resultado de la simulación del algoritmo
de la DQN para el control de HVAC residencial de
múltiples zonas. Para entrenar al algoritmo, se utilizaron los
datos de TMY de Knoxville del 21 de diciembre de 2019 al
10 de marzo de 2020. El paso de la simulación de la dinámica
térmica de HVAC es de 1 min, y por cada 5 min, el algoritmo
proporciona una acción de control del punto de ajuste. El nivel
de confort del usuario está establecido entre 20-22.22 °C (es
decir, 68-72 °F). La información de estado usada en el control
de la DQN incluye todos los elementos según se listan en
la sección " Abordaje del aprendizaje profundo por refuerzo
para el control de HVAC " . El abordaje de la DQN genera una
acción de control discreta al adaptar el punto de ajuste según
un paso fijo dentro del nivel de confort del usuario.
El algoritmo de la DQN fue entrenado para 75 episodios
con estas configuraciones. Como se mencionó anteriormente,
usamos datos de aproximadamente tres meses
del 21 de diciembre de 2019 al 10 de marzo de 2020 para
entrenar el algoritmo de la DQN. Durante este proceso de
entrenamiento, un único episodio de entrenamiento se considera
completo después de que el algoritmo de la DQN
haya explorado los datos de tres meses. A continuación,
repetimos el mismo proceso para varios episodios hasta
que convergió el algoritmo de la DQN. Dentro de cada episodio,
y en cada paso de control, el algoritmo de la DQN
observa el entorno según varias características (llamadas
estados) y luego toma acciones que se implementan en el
entorno. Por ejemplo, nuestro algoritmo de la DQN proporciona
un punto de ajuste como la acción, que hace que el
entorno evolucione al siguiente estado, y luego el mismo
procedimiento se repite. Al final de cada paso de control,
el entorno proporciona una recompensa en respuesta a la
acción del algoritmo de la DQN. Esta recompensa podría
ser el costo de electricidad incurrido debido a la acción del
algoritmo de la DQN. De acuerdo con esta recompensa, el
algoritmo de la DQN ajusta su tabla-Q. Los lectores pueden
consultar la figura 2 y la descripción pertinente para
obtener más detalles sobre el entrenamiento del algoritmo
de la DQN.
Precalentamiento
20
15
10
5
-5
19,000
14 de diciembre
19,500
Minutos
20,000
20,500
15 de diciembre
figura 4. La validación de la variación de la temperatura interior para el 14 y el 15 de diciembre con el modelo de la
DQN preentrenada.
mayo/junio 2022
ieee power & energy magazine
55
21,000
Temperatura exterior
Temperatura interior (Zona 1)
Temperatura interior (Zona 2)
Medida de AR (Zona 1)
Medida de AR (Zona 2)
Precio de la electricidad
Consumo de energía
Precalentamiento
Temperatura (°C)

IEEE Power & Energy Magazine - Spanish - May/June 2022

Table of Contents for the Digital Edition of IEEE Power & Energy Magazine - Spanish - May/June 2022