AWGN频道的容量

#1 楼

假设一个通道的输入每次都是连续随机变量$ X $，其输出为$ Y = X + Z $，其中$ Z \ sim \ mathcal {N}（0，N）$和$ Z $是独立的$ X $，然后$$ C _ {\ text {CI-AWGN}} = \ frac {1} {2} \ log_2 \ left（1+ \ frac {P} {N} \ right）$$是容量功率约束下连续输入通道的数量
$$ \ mathsf {E} X ^ 2 \ le P $$
互信息$ I（X; Y）$最大化（并且等于到$ C _ {\ text {CI-AWGN}} $）时$ X \ sim \ mathcal {N}（0，P）$。

这意味着如果$ X $是连续的高斯式具有给定方差的随机变量，则输出与输入具有尽可能高的互信息。就是这样！

输入变量$ X $被离散化（量化）时，就需要一种新的表达方式。确实，事情很容易变得困难。稍微看一下，可以考虑一个非常粗糙的$ X $离散化的简单情况，其中它只能有两个值。因此，假设$ X $是从二进制字母中选择的，例如让$ X \ in \ {\ pm1 \} $（或满足功率约束的缩放版本）。在调制方面，它与BPSK相同。

事实证明，容量（即使在这种简单情况下）也没有封闭形式。我从Richardson和Urbanke的“现代编码理论”报告：

$$ \ begin {align} C＆_ {\ text {BI-AWGN}} = 1 + \\＆\ frac {1} { \ ln（2）}
\ left（\ left（\ frac {2} {N} -1 \ right）\ mathcal {Q} \ left（\ frac {1} {\ sqrt {N}} \\右）-\ sqrt {\ frac {2} {\ pi N}} e ^ {-\ frac {1} {2N}} + \ sum_ {i = 1} ^ {\ infty} \ frac {（-1） ^ i} {i（i + 1）} e ^ {\ frac {2i（i + 1）} {N}} \数学{Q} \ left（\ frac {1 + 2i} {\ sqrt {N}} \ right）\ right）\ end {align} $$
下图可以看到两种情况的比较：

#2 楼

容量公式
$$ C = 0.5 \ log（1+ \ frac {S} {N}）\ tag {1} $$
用于离散时间通道。

假设您要发送一个数据序列$ \ left \ lbrace a_n \ right \ rbrace $，则需要​​一个正交波形集合$ \ left \ lbrace \ phi_n（t）\ right \ rbrace $进行调制。在M阶调制所属的线性调制中，$ \ phi_n（t）= \ phi（t-nT）$其中$ T $是符号持续时间，$ \ phi（t）$是原型波形，因此基带连续时间TX信号变为
$$ x（t）= \ sum_n a_n \ phi（t-nT）\ tag {2} $$

典型的调制使用$ \ left \ lbrace \ phi_n（t）\ right \ rbrace $满足带有匹配过滤器的奈奎斯特ISI标准，以恢复$ a_n $。众所周知的$ \ phi（t）$是根上升余弦。

连续AWGN通道是一个模型，其中
$$ y（t）= x（t）+ n（ t）\ tag {3} $$

其中$ n（t）$是高斯白色随机过程。

从（2）中，我们可以看到$ a_n $是$ x（t）$在$ \ left \ lbrace \ phi_n（t）\ right \ rbrace $上的投影。用$ n（t）$做同样的事情，在正交集上$ n（t）$的投影是iid高斯随机变量序列$ w_n = \ langle n（t），\ phi_n（t）\ rangle $（我真的认为$ n（t）$是根据其预测定义的）；并调用$ y_n = \ langle y（t），\ phi_n（t）\ rangle $。 Voilà，我们有一个等效的离散时间模型
$$ y_n = a_n + w_n \ tag {4} $$

公式（1）用于$ S $和$ N $分别是$ a_n $和$ w_n $的能量（如果$ a_n $和$ w_n $为零均值，则为方差）。如果$ a_n $和$ w_n $是高斯型，则$ y_n $也是高容量。 （如果需要，我可以添加一个简单的证明。）

输入信号是高斯是什么意思？这是否意味着代码字的每个符号的幅度都必须取自高斯系综？

意味着随机变量$ a_n $是高斯。

使用特殊的码本（在本例中为高斯）与使用Mary信号调制信号（例如MPSK）有什么区别？

设置的波形$ \ phi_n（t）$必须正交，对于M-PSK来说是正确的，因此$ w_n $是iid高斯。


更新但是$ a_n $是量化的，所以一般来说，它不再是高斯式的。关于此主题有一些研究，例如
格子高斯编码（链接）的使用。

#3 楼

说输入信号具有高斯分布意味着将其作为高斯随机变量分布。实际上，人们依赖于在通道的多个实例上（及时）进行编码，而不是依赖于高斯输入分布。有一个美丽的论据充实，超出了此答案的范围（信息论）。差错控制码（或信道码）通常依赖于使用熟悉的QAM / PSK调制，但是通过代码的冗余和多信道使用，它们可以接近（尽管不能完全达到）信道容量。接下来提供推理的草图（没有完整的细节）。

信道容量的定义是
$$ C = \ sup_ {p_X（x）} I（X; Y） $$
其中$ X $可以宽松地称为输入随机变量，$ Y $可以宽松地称为输出随机变量，而$ I（\ cdot，\ cdot）$是互斥量$ X $和$ Y $的信息。此定义要求我们在输入$ p_X（x）$的所有可能分布中搜索最大化互信息的分布。离散AWGN通道的输入/输出关系定义为
$$ Y = X + Z $$
，其中$ Z $是零均值高斯，方差为$ \ sigma_Z ^ 2 $（注意\ sigma_Z ^ 2 = N $和$ \ sigma_X ^ 2 = S $表示法）。我现在没有时间提供所有详细信息。但是，任何一本有关信息论的书都可以带您通过证明，证明如果$ X $作为高斯分布，则$ I（X; Y）$（$ X $和$ Y $的互信息）将最大化。例如，请参阅Thomas Cover撰写的“信息论要素”。如果您还没有读过，那么香农的原始论文《通信的数学理论》是一本值得一读的书，其中有完整的推理。