一、文献概要
1.Deep Learning Based Power Optimizing for NOMA Based Relay Aided D2D Transmissions
Zain Ali;Guftaar Ahmad Sardar Sidhu;Feifei Gao;Jing Jiang;Xiaoyan Wang
IEEE Transactions on Cognitive Communications and Networking2021
问题：基于NOMA的中继辅助双跳D2D通信的功率优化问题
目标：最大化系统吞吐量，约束条件：电源和SIC
方法：基于DNN的框架，只考虑用户信道增益，当系统的可用功率改变时框架的性能会受到影响。
基于信道系数和功率预算的DNN解决方案。
联合上行链路-下行链路NOMA，第一跳上行链路，第二跳下行链路。
两个D2D对使用NOMA通过同样的频带通信，假设发送机都是远端用户，不存在直接链路，中继结点（半双工，DF）辅助通信，假设U1,U3比U2,U4离基站近。瞬时传输，U1与U4配对，U2与U3配对（X=1）或U1与U3配对，U2与U4配对（X=0）。
目标：最大化端到端速率和（上行链路用户发送的，下行链路用户成功接受的比特总数），在上行链路中的每个发射节点受到单独的功率约束，在下行链路传输中的中继节点受到功率约束。
DNN输入：信道增益的瞬时值、二进制变量χ的值以及U1、U2和中继的可用功率量
输出：功率值
激活函数：sigmoid（隐层），ReLU（输出层）
目标：最小化均方误差
2.A NOMA-Based Q-Learning Random Access Method for Machine Type Communications
Matheus Valente da Silva;Richard Demo Souza;Hirley Alves;Taufik Abr?o
IEEE Wireless?Communications?Letters2020
Contribute：提出了一种基于非正交多址(NOMA)和Q学习的分布式方法来动态地为移动终端设备分配随机接入时隙。
模型：N个功率、频率、速率相同的设备围绕一个基站分布，每个设备都有L个数据包需要传输。媒介访问基于无授权时隙Aloha， 每个设备在一帧内的K个时隙之一中进行传输，对每个时隙的设备数量没有限制。在每一帧之后，基站每时隙一比特发送组反馈，通知传输是否成功，该消息还用于同步设备。（通常，我们假设基站通过包含在来自设备的每个传输中的报头内的导频来获取信道状态信息。此外，假设准静态场景，设备使用公共控制消息来估计它们的信道的统计，并且应用信道反转来在基站处达到参考平均功率，这保证了给定的中断概率。
）
NOMA有三种发射功率(Pref-δ、Pref、Pref+δ) NOMA对？
使用Qlearning的方法优化时隙分配，让多个设备在同一个时隙传输信息，让设备自主的找到NOMA及其专用时隙，也可防止过度使用发射功率。
Qlearning设置：agents:MTC设备；环境：网络；state-action对：传输功率和时隙组合，每个device都有自己的Q表。使用贪婪策略选择时隙中最高的Q值。reward为+1，-1.
初始化：Q表在（-1，+1）之间选择服从正态分布的随机数，比全0初始化提高了吞吐量。
在帧的末尾，基站发送一个单反馈消息，每个时隙一个比特，通知消息是否被成功解码。每个设备根据这个反馈更新它的Q值，并进行下一次传输。这个过程持续几个迭代(或帧)，直到最终收敛。
注：有一个BS解码的过程，解码成功即传输成功
在评估阶段文中分为三级传输：
3.Toward Massive Machine Type Communications in Ultra-Dense Cellular IoT Networks: Current Issues and Machine Learning-Assisted Solutions
IEEE Communications Surveys & Tutorials, vol. 22, no. 1, pp. 426–471, Firstquarter 2020.
ALOHA：随机发送，发生碰撞则等待一段随机时间后重发。
SLOTTED-ALOHA（SA）：把时间分成若干个相同的时间片，所有用户在时间片开始时刻同步接入网络信道，若发生冲突，则必须等到下一个时间片开始时刻再发送。该方法避免用户发送数据的随意性，减少了数据冲突，提高了信道的利用率，并且其吞吐量可以增加到纯Aloha的一倍。
文章篇幅很长，第一节是总体的介绍，第二节介绍了蜂窝网络中mMTC的主要特征、应用领域和潜在使能因素，并讨论了与超密集物联网网络中的QoS供应相关的各种问题。第三节重点介绍了传统LTE RA过程在mMTC系统中的低效率，以及传统LTE系统中RA过程的基础知识，然后介绍了两个新兴蜂窝物联网标准(即LTE-M和NB-IoT)中的关键特性和信道接入机制。此外，还介绍了基于3GPP的MTC流量模型和相关工作。随后，第四节为mMTC系统中支持服务质量的传输调度的性能分析提供了一个数学框架，并介绍了mMTC环境中短数据包传输的各种设计方面和限制。第五节回顾了蜂窝物联网网络中RAN拥塞问题的现有解决方案以及一些新兴的解决方案，而第六节介绍了无线物联网系统中最大似然技术的优势和挑战，并概述了现有的最大似然技术。此外，它还从解决RAN拥塞最小化的角度，结合一些Q学习性能增强技术，详细解释了Q学习机制。最后，第七节提出了一些研究挑战和未来的方向，第八节对本文进行了总结。
着重阅读了RA和Qlearning的部分。
4.Resource Allocation for NOMA-Based D2D Systems Coexisting With Cellular Networks**（多用户模型）**
Taehyun Yoon;Tien Hoa Nguyen;Xuan Tung Nguyen;Daeseung Yoo;Byungtae Jang;Van Duc Nguyen
IEEE Access2018
BS配备N个天线，划分L个正交子信道，M个D2D组（单天线），D2D组里的每个用户都被配对（D2D接收机配对），这样接收端的SIC可以和NOMA 结合。整个模型包括上行链路和下行链路，上行链路：DT到BS,CU到BS;下行链路：DT到DR对（有干扰）。
5.Access Control of MTC Devices Using Reinforcement Learning Approach
ACB（暂时没看）
6.A Distributed Q-Learning Algorithm For Multi-agent Team Coordination
模型：捕食者-食物追踪问题（暂时没看）
7.Analyzing Random Access Collisions in Massive IoT Networks
模型：基于蜂窝网络的mIoT流量感知时空模型，联合考虑了SINR,未使用机器学习的方法。