发明授权-2019110299648-一种基于强化学习的能量采集D2D通信资源分配方法.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN110784882B
(45)授权公告日2022.06.28
(21)申请号201911029964.8H04B17/336(2015.01)
(22)申请日2019.10.28H04B17/382(2015.01)
(65)同一申请的已公布的文献号(56)对比文件
申请公布号CN110784882ACN109788540A,2019.05.21
CN109729528A,2019.05.07
(43)申请公布日2020.02.11CN109862610A,2019.06.07
(73)专利权人南京邮电大学CN110139282A,2019.08.16
地址210046江苏省南京市栖霞区文苑路9CN109302709A,2019.02.01
号suna等.ResourceAllocation
(72)发明人朱琦苏娜AlgorithmforNOMAEnhanced
D2DCommunicationswithEnergyHarvesting.
(74)专利代理机构南京苏高专利商标事务所《MobileInformationSystem》.2020,
(普通合伙)32204苏娜.基于能量采集的D2D通信资源分配算
专利代理师曹坤法研究-.《中国优秀硕士学位论文全文数据库
(51)Int.Cl.信息科技辑》.2021,
H04W24/02(2009.01)审查员陈王凤
H04W28/02(2009.01)

H04W72/08(2009.01)权利要求书3页说明书10页附图3页
(54)发明名称
一种基于强化学习的能量采集D2D通信资源
分配方法
(57)摘要
本发明公开了一种基于强化学习的能量采
集D2D通信资源分配方法。该方法中D2D发送端采
用模式A与D2D接收端直接通信，或者采用模式B
充当中继协助蜂窝通信的同时应用NOMA技术与
D2D接收端通信。首先推导了用户采用不同模式
通信时的中断概率表达式；然后假设已知所有时
刻的能量采集和信道状态信息，利用KM算法为
D2D用户分配信道以及为蜂窝用户选择中继，同
时考虑能量因果性约束和最大发送功率限制，利
用强化学习方法优化D2D用户的发送功率。本发
明考虑D2D发送端可以充当中继协助边缘蜂窝用
户通信，在满足用户服务质量和能量约束的条件
下优化D2D用户和蜂窝用户的资源分配，可以提
高D2D用户和模式B蜂窝用户的总容量，允许更多
的边缘蜂窝用户接入网络。
CN110784882B
CN110784882B权利要求书1/3页

1.一种基于强化学习的能量采集D2D通信资源分配方法，其特征在于：包括以下步骤：

(1)：用UCU＝{UCU1,...,UCUi,...,UCUI}、DCU＝{DCU1,...,DCUm,...,DCUM}和DU＝

{DU1,...,DUn,...,DUN}分别表示上行蜂窝用户集、下行蜂窝用户集和D2D用户集，其中

UCUi、DCUm和DUn分别表示上行蜂窝用户i，下行蜂窝用户m和D2D用户n，所述I、M和N分别表示
系统中上行蜂窝用户数、下行蜂窝用户数和D2D用户对数，每个D2D用户对包括一个D2D发送
端和一个D2D接收端；
(2)：初始化采用模式A、B的D2D用户集采用模式B的下行蜂窝用户集

DUn复用UCUi信道在时段k的发送功率取值为系统预设的最大发送功率其
中模式A时D2D用户间直接通信、基站与下行蜂窝用户直接通信，模式B时D2D发送端充当中
继协助基站与下行蜂窝用户通信的同时应用NOMA技术与D2D接收端通信；

(3)：对所有D2D用户DUn∈DU和上行蜂窝用户UCUi∈UCU，计算模式A时D2D用户通信的中

断概率和上行蜂窝用户通信的中断概率Oin,k，当成立，则将DUn添加到

集合中，计算DUn复用UCUi信道时K个时段的容量反之DUn不能进行通信，其中
ξ表示中断概率阈值，K表示总时段数；

(4)：将容量作为DUn和UCUi二分图连线的权重，利用KM算法完成D2D用户与上行蜂窝
用户的最佳匹配，得到信道分配矩阵Yd；

(5)：对所有DCUm∈DCU，计算其与基站直接通信时的中断概率如则对所有

D2D用户判断是否成立，若成立，则将DCUm添加到集

合中，将DUn添加到集合中并从集合中移除，同时计算DCUm选择作为DTn中继时的

容量反之，DCUm不能进行通信，其中On,k表示模式B时第一时隙基站与DTn通信

的中断概率，表示模式B时第二时隙DTn与DCUm通信的中断概率，表示模式B时第二

时隙DTn与DRn通信的中断概率，或表示模式B时DRn为强用户或弱用户，DTn表示

D2D发送端n，DRn表示D2D接收端n；

(6)：将容量作为DUn和D