信息内容可能保持不变，这是否意味着熵不受影响？
#1 楼
当您说“信息内容可能保持不变”时，您是指总信号中的信息还是所需信号的信息？希望这能回答这两种情况。我知道Shannon熵要比Kolmogorov好得多，所以我会用它，但是希望逻辑能够转换。假设$ X = S + N $是您的总信号（$ X $），包括所需信号$ S $和噪声分量$ N $的总和。我们称熵$ H $。如您所说，噪声通过增加系统的复杂性而增加了熵。但是，这不仅因为我们对信号的信息内容更加不确定，而且还因为整个信号的不确定性更大。如果SNR可以衡量我们对$ S $的确定程度，那么$ H（X）$可以衡量我们根据$ X $的当前状态预测$ X $的未来状态的能力。熵与整个信号的复杂程度有关，而与噪声与非噪声的构成无关。
如果通过消除噪声来提高SNR（衰减$ N $），则会降低总信号$ X $的复杂性及其熵。您不会丢失$ S $携带的任何信息，而只会丢失$ N $携带的信息（可能毫无意义）。如果$ N $是随机噪声，则显然它不会携带有意义的信息，但是需要花费一定数量的信息来描述$ N $的状态，该状态取决于N可以进入的状态数以及概率在每个州都有它。那就是熵。
我们可以看一下两个具有不同方差的高斯分布，比如一个具有1美元的方差，另一个具有100美元的方差。仅查看高斯分布的方程式，我们看到$ Var = 100 $分布的最大概率仅为$ var = 1 $ distr概率值的$ \ frac {1} {10} $。相反，这意味着$ Var = 100 $ distr将采用平均值以外的其他值的可能性更大，或者更有可能确定$ Var = 1 $分布将采用均值附近的值。因此，$ Var = 1 $分布具有比$ Var = 100 $分布低的熵。
我们确定较高的方差意味着较高的熵。查看错误传播，也确实是$ Var（X + Y）> = Var（X）+ Var（Y）$（等于独立的$ X $，$ Y $）。如果$ X = S + N $，则对于熵$ H $，$ H（X）= H（S + N）$。由于$ H $（间接地）是方差的函数，因此我们可以说$ H（Var [X]）= H（Var [S + N]）$。为简单起见，我们说$ S $和$ N $是独立的，所以$ H（Var [X]）= H（Var [S] + Var [N]）$。 SNR的提高通常意味着衰减噪声功率。对于$ k> 1 $，具有更高SNR的新信号将是$ X = S +（\ frac {1} {k}）N $。熵然后变成$ H（Var [X]）= H（Var [S] +（1 / k）^ 2 * Var [N]）$。 $ k $大于$ 1 $，因此当N衰减时，$ Var [N] $将减小。如果$ Var [N] $减少，则$ Var [S + N] $也会减少，因此$ Var [X] $也会减少$ H（X）$。
不非常简洁，对不起。简而言之，如果增加SNR，则$ X $的熵会减小，但是您对$ S $的信息却无计可施。我现在找不到源，但是有一种方法可以相互计算SNR和互信息（类似于熵的双变量度量）。也许主要的收获是SNR和熵不能衡量同一件事。
#2 楼
这是来自[1, p. 186]的报价，可让您开始使用OP或Googler：非常粗略地
$ \ mathcal {H} \ approx \ text {（有效组件的数量在数据中）} \ times \ log \ text {SNR} $
此处$ \ mathcal {H} $是模型的参数后验分布的负熵信号。祝你好运！
[1] D. Sivia and J. Skilling, Data analysis: a Bayesian tutorial. OUP Oxford, 2006
评论
$ \ begingroup $
感谢您提供的详细信息，如果有一点点分析的参考，那真是太好了，因为我需要在论文中提供熵和SNR之间的关系，并因此提供引证。
$ \ endgroup $
–里亚·乔治
2014-2-27在18:32
$ \ begingroup $
我的分析是非正式的。它过于依赖直觉/逻辑来主张任何严谨性。我立即看到的弱点是，声称信噪比（SNR）升高等于总方差降低。如果通过衰减噪声来增加SNR，则此语句成立，但如果您增加信号功率，则不一定（因为这可能会增加信号方差==>总体方差==>熵）。不过，可能会有另一种方式得出这个结论。我认为MI和SNR之间的关系来自Schloegl 2010“ BCI研究中的自适应方法-入门教程”
$ \ endgroup $
– dpbont
2014年2月28日在1:29
$ \ begingroup $
：很抱歉再次继续启动该线程。当我发现一个模型的熵误差时，我遇到一个问题，其中误差= desirable_signal-estimated_signal。在提高SNR时，我发现误差熵正在增加。但是，当我计算信噪比提高时所需信号$ X $的熵时，X的熵就在减小。您能否对前者的熵熵随SNR的增加而增加一些见解？
$ \ endgroup $
–里亚·乔治
2014年8月14日下午2:37
$ \ begingroup $
两个问题。 1）当您说信噪比增加时，您是指估算信号的信噪比吗？ （我假设是这样。）2）随着错误熵的增加，您的错误发生了什么？一般来说，熵的增加要么意味着方差/可预测性的下降。我可能会设想一种情况，您的误差方差会增加，但您会消除误差偏差（这会增加误差熵，但会减少误差）。
$ \ endgroup $
– dpbont
2014年8月15日，下午3:56
$ \ begingroup $
感谢您的迅速答复。（1）通过SNR的增加，我的意思是增加模型中测量噪声的SNR。因此，在等式$ X = S + N $中，我增加了$ N $的SNR。测量熵H1（X）和H2（误差）。（2）误差减小并且所有值变得大致相等但不为零。我计算误差熵的方法如下：考虑AR（2）模型。 end，$ z（t）= X（t）-（a1X（t-1）+ b1X（t-2））$其中（a1，b1）是猜测参数＆$ X（t）$是在特定条件下的观测值$ N $的SNR表示snr1。假设我有5对猜测（a1，b1），并且每对我都会得到误差熵。
$ \ endgroup $
–里亚·乔治
2014年8月15日在6:28