(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210871781.6 (22)申请日 2022.07.22 (71)申请人 浙江工业大 学 地址 310014 浙江省杭州市拱 墅区潮王路 18号 (72)发明人 张有兵　熊美淞　费琦　杨晓东　 王国烽　翁国庆　王立成　戚军　 (74)专利代理 机构 杭州天正专利事务所有限公 司 33201 专利代理师 楼明阳 (51)Int.Cl. H02J 3/16(2006.01) H02J 3/38(2006.01) H02J 3/06(2006.01) G06F 30/27(2020.01)G06Q 10/06(2012.01) G06Q 50/06(2012.01) G06F 113/04(2020.01) G06F 119/02(2020.01) (54)发明名称 一种基于深度强化学习算法的实时 电压调 控方法 (57)摘要 一种基于深度强化学习算法的实时 电压调 控方法， 包括： S1： 在日前阶段， 建立集中优化模 型， 求解确定有载调压变压器和离散投切电容器 组的控制策略； S2： 在日中阶段， 基于多智能体深 度强化学习框架建立多智能体的实时优化深度 神经网络， 进行离线学习优化， 最终获得SOP实时 调控策略。 本发明在第一阶段， 将优化问题表述 为一个混合整数二阶锥规划， 获得有载分接开关 和可投切电容器组的每小时调度策略； 在第二阶 段， 将配电网划分为多个子网络， 继而通过良好 的控制策略和子网的局部测量信息， 实时调节柔 性软开关， 完成电压的实时调控。 本发明面向高 渗透率光伏接入的配电网， 有效缓解负荷波动带 来的电压 违规、 网损增 加等问题。 权利要求书5页 说明书12页 附图5页 CN 115313403 A 2022.11.08 CN 115313403 A 1.一种基于深度强化学习算法的实时电压调控方法， 其特 征在于， 包括以下步骤： S1： 在日前阶段， 建立集中优化模型， 求解确定有载调压变压器(on ‑load tap  changers， OLTC)和离 散投切电容器组(capacitor  banks， CBs)的控制策略； S2： 在日中阶段， 基于多智能体深度强化学习(multi  agent deep reinforcement   learning， MA ‑DRL)框架建立多智能体 的实时优化深度神经网络(deep  neural network， DNN)， 进行离线学习优化， 最终 获得SOP实时调控策略。 2.如权利要求1所述的基于深度强化学习算法的实时电压调控方法， 其特征在于， 所述 步骤S1中， 日前集中优化模型建立和求 解过程为： min f＝WL(floss+fswitch)+WVfV     (1) 式(1)中各项的权重系数WL和WV可以通过使用层次分析处理来确定； 系统总运行成本包 括两部分， 即电力损耗成本floss和开关调控 成本fswitch； 有功功率损耗的总成本涉及网络损 耗和SOP输电造成的功率损耗， 其中Closs、 Ctap、 Ccap分别是相关有功功率损耗、 OLTC和CBs 的 成本系数； Ωb和ΩO分别是不含OLTC的支路合集和 包含OLTC的支路合集； NT是时间段合集， NN是系统所有节点的合集； Δt是每个时段的持续时间， rij是支路ij上的电阻值， It,ij是t时 期支路ij上通过的电流； 开关运行的总成本由OLTC的调整成本和CBs的切换成本组成； Kt,ij 是t时期支路ij上的OLTC档位； 是t时期在i节点上的档位数； Xt,i是引入的辅助变量， 用 以表示电压的偏移程度， 其具有以下相关约束： Xt,i≥0    (7) Ut,i是t时期节点i的电压幅值； UEmax和UEmin分别是节点电压安全运行范围的上限和下 限； 另外， 需要满足SOP运行约束如下： 权　利　要　求　书 1/5 页 2 CN 115313403 A 2式(8)‑(10)是SOP的有功功率约束， 和 分别是t时段节点i和节点j的变流器输 出的有功功率； 和 分别是t时段SOP在节点i和节点j的变流器的有功损耗； 和 分别是SOP在节点 i和节点j的变流器的损耗系数； 式(11)‑(12)是SOP的无功功率约束， 和 分别是t时段节点i和节点j的变流器输 出的无功功率； 和 分别是节点i的变流器所能输出的最大无功功率和最小无功功 率； 和 分别是节点j的变流器所能输出的最大 无功功率和最小无功 功率； 需要满足OLTC和CBs约束如下： Ut,i＝kt,ijUt,j      (13) kt,ij＝kij,0+Kt,ijΔkij             (14) 式(13)‑(16)表示OLTC调节电压与档位的关系和运行约束， Ut,i是t时期节点i上的电 压， kt,ij和Kt,ij是t时期内OLTC的可调比和档位， kij,0和Δkij分别是OLTC的初始可调比和档 位增量； NT是周期之和， NOLTC是一天内投切次数 上限， 是档位变化的最大值； 式(17)‑(19)表示CBs注入无功功率与档位 的关系和运行约束， 表示节点i处CBs的 单位无功功 率容量， 是t时期内节点i上CBs的注入无功功 率， 是t时期内节点i上CBs 的投切数量， 是投切数量的最大值； 除了需要满足SOP、 OLTC、 CBs相关运行约束外， 还需要满足以下约束条件： 权　利　要　求　书 2/5 页 3 CN 115313403 A 3