两个独立且（必要）不相关的信号：
来自汽车发动机的噪声（称为$ v_1 [n] $）和语音（$ v_2 [n] $）。
记录每天的湿度（$ v_1 [n] $）和道琼斯指数（$ v_2 [n] $） 。
Q1）您将如何测量/证明它们与手中的两个向量无关？我们知道独立性意味着它们的pdf乘积等于联合pdf，这很不错，但是有了这两个矢量，一个如何证明它们的独立性？
两个信号表明不是独立的，但仍然不相关：
Q2）我在这里想不出任何例子……一些例子是什么？我知道我们可以通过采用两个这样的向量的互相关来测量相关性，但是我们如何证明它们也不是独立的呢？
两个相关的信号：
一个矢量在主大厅$ v_1 [n] $中测量歌剧歌手的声音，而有人则在大楼内某个地方记录她的声音，例如在排练室（$ v_2 [n] $）。 br />如果您连续测量汽车中的心率（$ v_1 [n] $），并且还测量了撞击在后挡风玻璃上的蓝光的强度（$ v_2 [n] $）...我猜那些会非常相关... :-)
Q3）与q2相关，但是从此经验角度衡量互相关时，仅查看这些矢量的点积就足够了（因为这是它们互相关峰值处的值）？为什么我们还要关心cross-corr函数中的其他值？
#1 楼
一些要素...（我知道这不是穷尽的，更完整的答案可能要提到片刻）Q1
要检查两个分布是否独立，您可以需要测量其联合分布$ p（x，y）$与其边际分布$ p（x）\乘以p（y）$的乘积有多相似。为此，您可以使用分布之间的任何距离。如果使用Kullback-Leibler散度比较这些分布，则将考虑数量：
$ \ int_x \ int_y p（x，y）\ log \ frac {p（x，y）} {p（x）p（y）} dx dy $
您将已经认识到...共同信息！
越实际，要根据观察结果计算该数量，可以估算密度$ p（x）$，$ p（y）$。 ，$ p（x，y）$使用内核密度估计器从您的数据中进行，并在精细网格上进行数值积分；或仅将数据量化到$ N $箱中，并使用互信息的表达式进行离散分布。
Q2
来自Wikipedia页面的统计独立性和相关性：
最后一个例子例外，这些二维分布$ p（x，y）$具有不相关的（对角协方差矩阵），但没有独立的边际分布$ p（x）$和$ p（y）$。
Q3
在某些情况下，您可能会查看互相关函数的所有值。它们例如出现在音频信号处理中。考虑两个麦克风捕获相同的信号源，但相距几米。两个信号的互相关将在与麦克风之间的距离除以声速对应的滞后处具有一个峰值。如果仅查看滞后0处的互相关，您将不会看到一个信号是另一个信号的时移版本！
评论
$ \ begingroup $
谢谢，谢谢。1）请您详细介绍一下第一点-我真的很难理解如何从两个数据向量x [n]和y [n]中得出和他们的JOINT PDF，$ p（x，y）$。我可以理解如何获取x [n]的直方图会给我X的pdf，（$ p（x} $），和Y的pdf相同，但是实际上在给定两个矢量的情况下，一个人如何提出一个联合？我要具体询问的是-从观察到的样本中准确地PDF的具体映射，这使我最困惑。
$ \ endgroup $
–太空
2012年2月21日19:50
$ \ begingroup $
（续）2）总结一下：如果x和y的协方差矩阵是对角线，那么它们是不相关的，但不一定独立正确吗？测试独立性是跟进后续问题（1）的问题。但是，如果我们表明它们是独立的，那么它们的协方差矩阵当然就是对角线的。我明白吗？我可以在现实生活中测量的两个物理信号的示例是什么，这些信号将是相关但不相关的？再次感谢。
$ \ endgroup $
–太空
2012年2月21日19:52
$ \ begingroup $
假设您有两个信号$ x_n $和$ y_n $表示为$ N $元素的向量。例如，您可以使用内核密度估算器获得$ p（x，y）$的估算值：$ p ^ *（x，y）= \ sum_i \ frac {1} {N} K（x-x_i， y-y_i）$，其中$ K $是内核函数。或者，您可以使用与构建直方图相同的技术，但是使用2D。建立一个矩形网格，计算每个网格中有多少对$（x_n，y_n）$落入，并使用$ p ^ *（x，y）= \ frac {C} {N} $其中N是大小信号和$ C $是与点$（x，y）$关联的像元中的元素数量。
$ \ endgroup $
–小食
2012年2月21日在20:08
$ \ begingroup $
“有两个物理信号是相关但不相关的”：假设我们入侵了纽约出租车的GPS，以记录其位置的（纬度，经度）历史。很可能是长期。数据将不相关-点云没有特权的“方向”。但这几乎是独立的，因为如果要求您猜测驾驶室的纬度，那么如果您知道经度，则可能会提供更好的猜测（然后可以查看地图并排除[长]被建筑物占据的对。
$ \ endgroup $
–小食
2012年2月21日在21:12
$ \ begingroup $
另一个例子：两个正弦波以相同频率的整数倍波动。零相关（傅立叶基础是正交的）；但是，如果您知道一个值，那么只有另一个可以取有限值（想想李沙育图）。
$ \ endgroup $
–小食
2012年2月21日在21:18
#2 楼
在没有任何先验知识/假设的情况下，很难推断两个信号是否独立。（如果$ X $的值独立，则两个随机变量$ X $和$ Y $是独立的。不会提供有关$ Y $值的任何信息（即不影响$ Y $的先前概率分布）。
这等效于$ X $和$ Y $的任何非线性变换都是不相关的即
$$ \ text {cov}（f_1（X），f_2（Y））= E（f_1（X），f_2（Y））= 0 $$
对于任何非线性$ f_1 $和$ f_2 $假设wlog的两个变量均值为零。
独立性和不相关性之间的区别是，如果上述成立，则$ X $和$ Y $不相关，仅适用于$ f_1（x）= f_2（ x）= x $，单位函数。
如果假设联合高斯性，则所有大于2阶的联合矩都等于零，在这种情况下，不相关意味着独立。
如果没有先验的假设，则联合矩的估计$ E（X ^ iY ^ j）$将给我们
我们可以通过考虑互谱$$ S_ {X来将其概括为信号$ X（t）$和$ Y（t）$ ，Y}（f），S_ {X ^ 2，Y}（f），S_ {X，Y ^ 2}（f）在所有频率$ f $上的\ dots $$。
示例：
阅读了“小雕像”评论后，我被启发以他的想法为例。考虑信号
$$ X（t）= \ sin（2 \ pi ft）$$
$$ Y（t）= \ sin（2 \ pi ftk）$$
$ k \ in \ mathbb {Z} $和$ k \ neq 1 $。显然，没有线性变换将$ X（t）$发送到$ Y（t）$，因为它们以不同的频率振荡。但是，众所周知，我们可以将$ \ sin（kx）$写为$ \ sin（x）$的函数，因此，
$$ Y（t）= f（X（t））$ $
对于某些多项式$ f $。
因此，尽管信号不相关，但$ X（t）$和$ Y（t）$不是独立的。
评论
$ \ begingroup $
您能详细说明$ X_ {x ^ 2，Y}（f）$的交叉谱到底是什么吗？谢谢。
$ \ endgroup $
–太空
13年5月13日在15:08
$ \ begingroup $
en.wikipedia.org/wiki/Cross-spectrum我们正在考虑信号$ X ^ 2（t）$和$ Y（t）$之间的互谱。
$ \ endgroup $
–rwolst
13年5月14日在9:53
评论
@DilipSarwate谢谢Dilip，我来看看。就目前而言，一些示例还是不错的。您无法以同样的理由“证明”他们是独立的，即使是结构良好的民意调查也无法“证明”每个人的投票方式。
@JimClay随意放宽“证明”标准-我试图了解的是衡量/量化独立性的方法。我们经常听说如此独立，那么，他们怎么知道的？正在使用什么卷尺？
我想知道互相关是否可用于高分辨率的两个模拟信号，而另一个低分辨率的模拟信号用于分析目的。
如果我们有一些随机变量X并构造2信号a ** = $ f_1 $（x）和** b ** = $ f_2 $（x），其中$ f_1 $和$ f_2 $是正交的，并且** x = a + b。这是否意味着这些信号是独立的？这是否需要一些其他条件？此属性将很有趣，因为它避免了构造a和b的联合pdf。