发明授权-2019107780878-一种D2D通信系统接入频谱的方法.pdf

(19)中华人民共和国国家知识产权局

(12)发明专利

(10)授权公告号CN110505604B
(45)授权公告日2021.07.09
(21)申请号201910778087.8H04W52/38(2009.01)
(22)申请日2019.08.22(56)对比文件
(65)同一申请的已公布的文献号US2016255617A1,2016.09.01
申请公布号CN110505604ACN109862610A,2019.06.07
CN109639760A,2019.04.16
(43)申请公布日2019.11.26廖晓闽，严少虎，石嘉，谭震宇，赵钟灵，李
(73)专利权人电子科技大学赞.基于深度强化学习的蜂窝网资源分配算法.
地址611731四川省成都市高新西区西源《通信学报》.2019,第40卷(第2期),全文.
大道2006号审查员刘丹

(72)发明人梁应敞谭俊杰张蔺
(74)专利代理机构成都点睛专利代理事务所
(普通合伙)51232
代理人孙一峰
(51)Int.Cl.
H04W4/70(2018.01)
H04W52/24(2009.01)权利要求书2页说明书6页附图4页
(54)发明名称
一种D2D通信系统接入频谱的方法
(57)摘要
本发明属于无线通信技术领域，涉及一种
D2D通信系统接入频谱的方法。本发明针对D2D通
信系统提出一种基于深度强化学习的频谱接入
方法，让每个D2D通信设备根据历史和局部信息
优化接入频谱的策略，以提高系统的整体容量。
和现有的方案相比，本发明只需让每个D2D通信
设备收集本地测量数据(如接收干扰等)和来自
于其他D2D通信设备有延迟的反馈信息，而无需
实时收集D2D通信设备间的CSI。
CN110505604B
CN110505604B权利要求书1/2页

1.一种D2D通信系统接入频谱的方法，所述D2D通信系统具有M个D2D通信设备及N个信
道，每个D2D通信设备由一个发送端Tx和一个接收端Rx组成，宏蜂窝基站MBS作为协调者帮
助D2D通信设备间的同步和传递反馈信息，其特征在于，所述接入频谱的方法为：
设定目标为找出一种信道选择和功率控制方案使D2D通信系统的总容量最大化，建立
目标模型为：

其中，表示第m个D2D通信设备在第t个帧获得速率，和

分别表示在第t个帧时所有D2D通信设备的信道选择向量和发送功率
向量，表示每个D2D通信设备的发送端的最大发送功率，和分别表示所有D2D通信设
备的集合以及所有信道的集合，

表示第m个D2D通信设备在第t个帧选择的信道，是信道选择变量，若第m个D2D通

信设备在第t个帧选择信道n，则否则表示第m个D2D通信设备在第t个

帧选择的发送功率，σ2是加性高斯白噪声，表示第t帧时第m个D2D通信

设备的发送端到第k个D2D通信设备的接收端在信道上的信道响应，其中，βm,k是仅与距
离有关的路径损耗，是符合Jake’s信道模型的小尺度衰落，相邻帧小尺度衰落的变

化表述为其中，δ和在第0帧的初始值都是服从复

高斯分布的随机变量，而ρ表示信道相关系数，j≠m；
基于目标模型，采用深度强化学习让每个D2D通信设备根据历史和局部信息来动态调
整接入频谱，具体为：
将D2D通信系统的帧结构设计为包括预处理阶段和发送阶段，在预处理阶段D2D通信设
备通过信息反馈即发送反馈信息至相邻D2D通信设备或者接收相邻D2D通信设备的反馈信
息、干扰测量、发送‑接收端信道估计获取状态数据，通过深度强化学习选择一个频谱接入
策略，包括信道和发送功率；D2D通信设备的发送端在发送阶段以在选择的信道和发送功率
进行信息传输；深度强化学习的实现方式为：

2
CN110505604B权利要求书2/2页
状态数据：在第t个帧，D2D通信设备的状态包括：第t‑1个帧及第t‑2个帧的功率、信道、
速率信息；第t个帧及第t‑1个帧的发送‑接收端信道估计值；第t个帧及第t‑1个帧干扰测量
值，因此，将第m个D2D通信设备在第t个帧获得的系统状态设计为

其中，

表示第m个D2D通信设备在第t‑1个帧选择的发送功率，表示第m个D2D通信设备

在第t‑2个帧选择的发送功率，表示第m个D2D通信设备在第t‑1个帧选择的信道，

表示第m个D2D通信设备在第t‑2个帧选择的信道，表示第m个D2D通信设备在第t‑1个帧

获得速率，表示第m个D2D通信设备在第t‑2个帧获得速率，表

示第m个D2D通信设备在第t个帧所测量到的总干扰，表示第m个

D2D通信设备在第t‑1个帧所测量到的总干扰；表示第m个D2D通信设备

在第t个帧所测量到本地CSI向量，表示第m个D2D通信设备在第t‑1个帧所测量到本地
CSI向量，表示第t帧时第m个D2D通信设备的发送端到第