科普一下虚警概率

写这个帖子是因为看了隔壁那个彻底解决前轮转弯虚警问题的帖子。发现很多人对虚警，或者应该说是对信号检测完全没有概念。上来就骂是质量问题。我个人是学通信的。所以不揣冒昧来介绍一下虚警到底是怎么回事。但在解释虚警之前，我得先废话两句检测的问题。写的很乱，大家凑活看吧。

通信，雷达和传感器要处理的问题尽管看上去区别很大，但是都可以归结为如何在信宿（即信号的接收端）根据接收到的信号判断信源（信号的发送端）的发射信号的问题。通信不用说，你的手机肯定是得判决出基站给你发送了什么信号才能正常工作。雷达和传感器可能不那么直观，但是我们可以这样理解：比如说一台雷达开机了，他的接收机就不断地接收到信号。那么这个信号到底是不是雷达打出去的波束打在敌机上反射回来的回波呢？也就是说，“有”或者“没有”敌机就是雷达需要判断的信息。传感器也是，它要根据他的光敏元件，温敏元件或者是其他的什么元件的接收信号来综合判决当前到底“有”或者“没有”情况发生。这种接收机根据接收到的信号判断出发端的发送信号应该是有限多个取值中的哪一个的问题，叫做假设检验，是信号检测中的核心问题之一。

那么假设检验是怎么做的呢？具体来说是这样子的。接收机首先根据接收信号，计算出一个判决量出来。然后接收机会把判决量的信号空间划分成若干区域，称为判决域，每一个判决域对应发射信号的一个可能的取值。然后就看接收信号落在哪个区域里我们就判决发端发送的信号为哪个区域所对应的取值。还是拿雷达做例子，雷达接收到的信号经过匹配接收等等处理之后的判决量是一个实数值，我们把所有的实数分成两个集合，比如说大于0的值是一个集合对应有敌机，不大于0的值是一个集合对应没有敌机。那么如果我们当前时刻的判决量是一个大于0的值，那么接收机就判断有敌机过来了。这里面关键的点有两个：一个是这个判决量怎么计算，再一个是判决域怎么划分。这两者直接决定了检测算法的差错概率。在实际中，接收机除了接收到需要检测的目标信号之外，还会接收到像是接收机本身电子器件中的电子运动所导致的热噪声（这个除非你的器件工作在绝对零度，否则无法避免），其他发射机无意间造成的干扰，甚至是敌方故意的电子对抗等等破坏性因素。这就让我们的检验不可能完全正确。总会出现像是我们发送的消息是第一个取值，但是由于破坏性因素的影响，接收信号落到了第二个取值对应的判决域中的情况。这种情况下就出现了判决错误。这个错误发生的概率就是差错概率。对于雷达，传感器，我们把差错概率再做进一步地划分，我们把有敌机/有状况接收机却判决为没敌机/没状况的差错叫做漏警，把漏警的概率叫做漏警概率。而把没有敌机/没有状况却判决为有敌机/有状况的差错叫做虚警，相应的概率就叫虚警概率。显然差错概率=虚警概率+漏警概率。

检测的目标肯定是要想方设法地降低差错概率，但是差错概率他是有下界的，根据Fano不等式：Pe >=(H(X|Y)-1)/log|X|。其中Pe是差错概率，H(X|Y)是已知接收信号时发射信号的条件熵，这个是由发射信号的概率分布和信道的条件转移概率所共同决定的。而这两者都是我们不能控制的。而|X|表示发射信号可能的取值的总个数。也就是说，就算你的检测算法再好再牛逼，顶破大天去了差错概率最低也得有(H(X|Y)-1)/log|X|这么多。如果你想再降低差错概率的下界，唯一的办法就是分集，比如说我的雷达的第一根接收天线上接收到的信号是Y1，我单独用Y1进行判决的差错概率Pe1 >=(H(X|Y1)-1)/log|X|太大不能满足我的需求。那么我再弄一根接收天线，它接收到的信号是Y2，那么我现在的判决的差错概率的下界就变成了Pe>=(H(X|Y1Y2)-1)/log|X|，而H(X|Y1Y2)<H(X|Y1)，因为我获得额外的信息只会让不确定度变得更小而不会变得更大。于是差错概率就变小了。但是分集的代价就是我们必须要付出更大的开销。也就是说在性能和开销之间是存在一个折中的。在给定的硬件条件下，即使我们把判决量的计算和判决域的划分都优化到极限，我们的差错概率也不能低于Fano不等式所确定的下限值。

我们需要注意一件事：漏警和虚警这两种错误的危险程度未必是一样的。对于通信来说无所谓，不管是0，1都是发送的数据的一部分，但是对于雷达和传感器来说完全不是这么回事。比如说，虽然有敌机没发现和没敌机误报敌机来袭都是错误，但是这两种错误的危险程度显然是不一样的。虚警了无非是战机紧急升空浪费几十万油钱的问题，但是如果把装满炸弹的敌机给漏了，那个损失就不是几十万挽的回的了。那个帖子里说到的传感器也是一样，虚警了无非维修人员精神紧张了半天却发现白费工夫。但是有问题没报搞不好就机毁人亡了。所以说实际中我们在降低差错概率的同时，还要关注如何降低漏警概率。而虚警概率并不太关心。所以很常见的做法是人为地去提高虚警概率，因为漏警概率 = 差错概率 - 虚警概率。具体来说就是扩大”有敌机/有状况“所对应的判决域。显然判决域越大，有情况判决量却落在没情况的判决域里面的概率就会越小。漏警概率降低，但是反过来说，没情况判决量落在有情况的判决域里面的概率就会越大。从而虚警上升。

说这么多是想表达个什么呢？我就是想说，虚警概率高是各种因素导致的，当然可能是质量问题，但同样也有可能是算法导致的，传感器灵敏程度导致的，甚至可能是故意要它高的。不要一看到虚警概率高就骂质量问题，骂八股文小题大做。这是非常幼稚的行为。比如说你家里装了个空气质量传感器，别的厂家设置的是PM2.5超过200就会报警，你买的产品则是设置成50，结果天天虚警，在传感器旁边抽根烟报警器叫唤得跟死了爹一样。你觉得这是质量问题，但其实并不是，这只是设置的太灵敏了。

再说两句题外话，希望网友们遇到事情能多思考，很多事情并非是你看上去那样。你觉得海带反潜艇，雾霾克激光傻叉，骂菊座不学无术，但是就事论事菊座说的不对吗？养海带的绳子缠不住螺旋桨吗？澳大利亚那潜艇怎么就被迫上浮了？雾霾中的微小颗粒不能造成激光的损耗吗？这难道不是激光本身的缺点吗？遇到不是自己专业的事情，先问问人，先了解了解情况。而不是动不动就诉之感情宣泄。写这个帖子是因为看了隔壁那个彻底解决前轮转弯虚警问题的帖子。发现很多人对虚警，或者应该说是对信号检测完全没有概念。上来就骂是质量问题。我个人是学通信的。所以不揣冒昧来介绍一下虚警到底是怎么回事。但在解释虚警之前，我得先废话两句检测的问题。写的很乱，大家凑活看吧。

通信，雷达和传感器要处理的问题尽管看上去区别很大，但是都可以归结为如何在信宿（即信号的接收端）根据接收到的信号判断信源（信号的发送端）的发射信号的问题。通信不用说，你的手机肯定是得判决出基站给你发送了什么信号才能正常工作。雷达和传感器可能不那么直观，但是我们可以这样理解：比如说一台雷达开机了，他的接收机就不断地接收到信号。那么这个信号到底是不是雷达打出去的波束打在敌机上反射回来的回波呢？也就是说，“有”或者“没有”敌机就是雷达需要判断的信息。传感器也是，它要根据他的光敏元件，温敏元件或者是其他的什么元件的接收信号来综合判决当前到底“有”或者“没有”情况发生。这种接收机根据接收到的信号判断出发端的发送信号应该是有限多个取值中的哪一个的问题，叫做假设检验，是信号检测中的核心问题之一。

那么假设检验是怎么做的呢？具体来说是这样子的。接收机首先根据接收信号，计算出一个判决量出来。然后接收机会把判决量的信号空间划分成若干区域，称为判决域，每一个判决域对应发射信号的一个可能的取值。然后就看接收信号落在哪个区域里我们就判决发端发送的信号为哪个区域所对应的取值。还是拿雷达做例子，雷达接收到的信号经过匹配接收等等处理之后的判决量是一个实数值，我们把所有的实数分成两个集合，比如说大于0的值是一个集合对应有敌机，不大于0的值是一个集合对应没有敌机。那么如果我们当前时刻的判决量是一个大于0的值，那么接收机就判断有敌机过来了。这里面关键的点有两个：一个是这个判决量怎么计算，再一个是判决域怎么划分。这两者直接决定了检测算法的差错概率。在实际中，接收机除了接收到需要检测的目标信号之外，还会接收到像是接收机本身电子器件中的电子运动所导致的热噪声（这个除非你的器件工作在绝对零度，否则无法避免），其他发射机无意间造成的干扰，甚至是敌方故意的电子对抗等等破坏性因素。这就让我们的检验不可能完全正确。总会出现像是我们发送的消息是第一个取值，但是由于破坏性因素的影响，接收信号落到了第二个取值对应的判决域中的情况。这种情况下就出现了判决错误。这个错误发生的概率就是差错概率。对于雷达，传感器，我们把差错概率再做进一步地划分，我们把有敌机/有状况接收机却判决为没敌机/没状况的差错叫做漏警，把漏警的概率叫做漏警概率。而把没有敌机/没有状况却判决为有敌机/有状况的差错叫做虚警，相应的概率就叫虚警概率。显然差错概率=虚警概率+漏警概率。

检测的目标肯定是要想方设法地降低差错概率，但是差错概率他是有下界的，根据Fano不等式：Pe >=(H(X|Y)-1)/log|X|。其中Pe是差错概率，H(X|Y)是已知接收信号时发射信号的条件熵，这个是由发射信号的概率分布和信道的条件转移概率所共同决定的。而这两者都是我们不能控制的。而|X|表示发射信号可能的取值的总个数。也就是说，就算你的检测算法再好再牛逼，顶破大天去了差错概率最低也得有(H(X|Y)-1)/log|X|这么多。如果你想再降低差错概率的下界，唯一的办法就是分集，比如说我的雷达的第一根接收天线上接收到的信号是Y1，我单独用Y1进行判决的差错概率Pe1 >=(H(X|Y1)-1)/log|X|太大不能满足我的需求。那么我再弄一根接收天线，它接收到的信号是Y2，那么我现在的判决的差错概率的下界就变成了Pe>=(H(X|Y1Y2)-1)/log|X|，而H(X|Y1Y2)<H(X|Y1)，因为我获得额外的信息只会让不确定度变得更小而不会变得更大。于是差错概率就变小了。但是分集的代价就是我们必须要付出更大的开销。也就是说在性能和开销之间是存在一个折中的。在给定的硬件条件下，即使我们把判决量的计算和判决域的划分都优化到极限，我们的差错概率也不能低于Fano不等式所确定的下限值。

我们需要注意一件事：漏警和虚警这两种错误的危险程度未必是一样的。对于通信来说无所谓，不管是0，1都是发送的数据的一部分，但是对于雷达和传感器来说完全不是这么回事。比如说，虽然有敌机没发现和没敌机误报敌机来袭都是错误，但是这两种错误的危险程度显然是不一样的。虚警了无非是战机紧急升空浪费几十万油钱的问题，但是如果把装满炸弹的敌机给漏了，那个损失就不是几十万挽的回的了。那个帖子里说到的传感器也是一样，虚警了无非维修人员精神紧张了半天却发现白费工夫。但是有问题没报搞不好就机毁人亡了。所以说实际中我们在降低差错概率的同时，还要关注如何降低漏警概率。而虚警概率并不太关心。所以很常见的做法是人为地去提高虚警概率，因为漏警概率 = 差错概率 - 虚警概率。具体来说就是扩大”有敌机/有状况“所对应的判决域。显然判决域越大，有情况判决量却落在没情况的判决域里面的概率就会越小。漏警概率降低，但是反过来说，没情况判决量落在有情况的判决域里面的概率就会越大。从而虚警上升。

说这么多是想表达个什么呢？我就是想说，虚警概率高是各种因素导致的，当然可能是质量问题，但同样也有可能是算法导致的，传感器灵敏程度导致的，甚至可能是故意要它高的。不要一看到虚警概率高就骂质量问题，骂八股文小题大做。这是非常幼稚的行为。比如说你家里装了个空气质量传感器，别的厂家设置的是PM2.5超过200就会报警，你买的产品则是设置成50，结果天天虚警，在传感器旁边抽根烟报警器叫唤得跟死了爹一样。你觉得这是质量问题，但其实并不是，这只是设置的太灵敏了。

再说两句题外话，希望网友们遇到事情能多思考，很多事情并非是你看上去那样。你觉得海带反潜艇，雾霾克激光傻叉，骂菊座不学无术，但是就事论事菊座说的不对吗？养海带的绳子缠不住螺旋桨吗？澳大利亚那潜艇怎么就被迫上浮了？雾霾中的微小颗粒不能造成激光的损耗吗？这难道不是激光本身的缺点吗？遇到不是自己专业的事情，先问问人，先了解了解情况。而不是动不动就诉之感情宣泄。