发明授权-2019101613918-一种基于多智能体深度强化学习的D2D资源分配方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN109729528B
(45)授权公告日2020.08.18
(21)申请号201910161391.8H04W24/02(2009.01)
(22)申请日2019.03.04H04W76/14(2018.01)
(65)同一申请的已公布的文献号(56)对比文件
申请公布号CN109729528ACN104995851A,2015.10.21
ZhengLi等.Location-AwareHypergraph
(43)申请公布日2019.05.07ColoringBasedSpectrumAllocationfor
(66)本国优先权数据D2DCommunication.《IEEE》.2018,
201811572168.42018.12.21CN王倩.D2D通信中基于Q学习的联合资源分配
(73)专利权人北京邮电大学与功率控制算法.《南京大学学报》.2018,
地址100876北京市海淀区西土城路10号YingHe等，.SECURESOCIALNETVUORKSIN
5GSYSTEMSWITHMOBILEEDGECOMPUTING，
(72)发明人郭彩丽李政宣一荻冯春燕CACHING,ANDDEVICE-TO-DEVICE
(74)专利代理机构北京永创新实专利事务所CONINIUNICATIONS.《IEEE》.2018,
11121审查员卢志飞
代理人冀学军

(51)Int.Cl.
H04W16/14(2009.01)权利要求书3页说明书10页附图5页
(54)发明名称
一种基于多智能体深度强化学习的D2D资源
分配方法
(57)摘要
本发明公开了一种基于多智能体深度强化
学习的D2D资源分配方法，属于无线通信领域。首
先构建蜂窝网络与D2D通信共享频谱的异构网络
模型，基于其存在的干扰，建立D2D接收用户的信
干噪比SINR以及蜂窝用户的SINR，然后分别计算
蜂窝链路和D2D链路的单位带宽通信速率后，以
将最大化系统容量为优化目标，构建异构网络中
的D2D资源分配优化模型；针对时隙t，在D2D资源
分配优化模型的基础上，构建每一个D2D通信对
的深度强化学习模型；分别对后续时隙中的每个
D2D通信对提取各自的状态特征矢量，输入训练
好的深度强化学习模型中，得到各个D2D通信对
的资源分配方案。本发明优化了频谱分配和传输
功率，最大化了系统容量，提供了低复杂度的资
源分配算法。
CN109729528B
CN109729528B权利要求书1/3页

1.一种基于多智能体深度强化学习的D2D资源分配方法，其特征在于，具体步骤包括：
步骤一、构建蜂窝网络与D2D通信共享频谱的异构网络模型；
异构网络模型包括蜂窝基站BS、M个蜂窝下行用户以及N个D2D通信对；

设定第m个蜂窝用户为Cm，其中1≤m≤M；第n个D2D通信对为Dn，其中1≤n≤N；D2D通信对

Dn中的发射用户和接收用户分别用和表示；
蜂窝下行通信链路和D2D链路通信都采用正交频分复用技术，每个蜂窝用户占用一个
通信资源块RB，任意两个蜂窝链路之间没有干扰；同时允许一个蜂窝用户与多个D2D用户共
享相同的RB，由D2D用户自主选择通信资源块RB和传输功率；
步骤二、基于异构网络模型中存在的干扰，建立D2D接收用户的信干噪比SINR以及蜂窝
用户的SINR；

蜂窝用户Cm接收到的来自基站的第k个通信资源块RB上的信号SINR为：

PB表示基站的固定发射功率；为基站到蜂窝用户Cm的下行目标链路的信道增益；Dk

代表共享第k个RB的所有D2D通信对组成的集合；表示D2D通信对Dn中发射用户的发射功

率；为当多个链路共享RB时，D2D通信对Dn中发射用户到蜂窝用户Cm的干扰链路的

信道增益；N0代表加性高斯白噪声的功率谱密度；

D2D通信对Dn的接收用户在第k个RB上的接收信号的SINR为：

为D2D通信对Dn的发射用户到接收用户的D2D目标链路的信道增益；为

当多个链路共享RB时，基站到D2D通信对Dn的接收用户的干扰链路的信道增益；表示

D2D通信对Di中发射用户的发射功率；为当多个链路共享RB时，D2D通信对Di中发射用

户到接收用户的干扰链路的信道增益；
步骤三、利用蜂窝用户的SINR以及D2D接收用户的SINR分别计算蜂窝链路和D2D链路的
单位带宽通信速率；
蜂窝链路的单位带宽通信速率计算公式为：

D2D链路的单位带宽通信速率计算公式为：
步骤四、利用蜂窝链路和D2D链路的单位带宽通信速率计算系统容量，并将最大化系统
容量为优化目标，构建异构网络中的D2D资源分配优化模型；
优化模型如下所示：

2
CN109729528B权利要求书2/3页