两个部分的问题-我们都看过电影/电视节目,其中警察/美联储/间谍使用计算机软件拍摄颗粒状照片并进行“清理”以查看更好的图片和更多细节。我假设这个概念是通过某种超功率像素平滑或抗锯齿类型的算法执行的,以基于演绎处理来填补空白。

部分1:这项技术在公共/商业软件世界?我不是在问任何有关所谓的秘密政府软件之类的猜测,我只是想知道我们今天在这个概念上实际在哪里?全自动与人工相比有多少钱。

部分2:假设使用这种技术拍摄照片实际上是有现实的,这个问题的第二部分是如何(如果有的话)将其应用于视频?再次,全自动与人为辅助的问题在这里引起了人们的关注。

本文的核心是一个终极问题,即当今的软件能够进行旧的VHS或DVD录制以及处理帧以创建新的高清分辨率重制。考虑到这样做将意味着即使是简单的婚礼视频也要清理成千上万的帧,我当然希望这种技术不会很快。




注意:在主题和元讨论中,我继续进行了讨论,并将其交叉发布在另外两个建议的SE论坛中,以获取他们在此问题上的观点和专业知识。到目前为止(可以这么说),我已经在3个中的2个中收到了一些非常有趣的信息。

完成所有操作后(当得到了很好的答案时选出),我希望能有一种方法可以将这些合并以使所有三个SE社区受益:


计算机图形学:使用计算机“清理”的最新技术是什么? -up“图片?

信号处理:https://dsp.stackexchange.com/questions/28168

视频制作:https://video.stackexchange.com/questions/17363



评论

该问题与图像/信号处理有关,不在本站点范围内。但是,这里有一个用于信号处理的SE:dsp.stackexchange.com

尽管这是出于良好意图,但请注意,不建议在多个SE网站上交叉发布。

交叉发布也被认为是不礼貌的。

您没有被要求发布信息,一个用户告诉您还有其他途径。交叉发布绝不是stackexhange方式。如果您有任何疑问,则需要使其完全符合您的要求。因此,例如,您不能在视频上问同样的问题。

@ O.M.Y。我链接到有关交叉发布的元帖子显示,社区共识反对交叉发布,但在某些罕见情况下也有一些支持交叉发布的答案,这值得一读。即使这样,他们仍建议您针对不同的站点量身定制问题,而不仅仅是复制和粘贴。

#1 楼

我所知道的最接近“计算机:增强功能!”的东西现实生活中的trope是“单图像超分辨率”技术家族。该页面显示了各种图像结果的许多示例。您可以看到,虽然它可以改善放大图像的视觉质量,但与您在电视上看到的内容相比,还有很长的路要走,他们可以阅读酒杯上反射的字母上的文字,也可以识别出站在玻璃杯中的人的脸。阴影等。

该技术基本上是通过观察单个图像经常包含相同图案或结构的重复实例来起作用的。当您具有同一图案的多个副本时,它们通常出现在不同的子像素偏移处,即与像素网格的对齐方式不同,这意味着每个副本包含有关基础图案的信息略有不同,并且通过将它们放在一起可以进行恢复(真的,请猜测)该模式的高分辨率版本。然后,无论该模式发生在哪里,都可以使用它来“填充缺失的细节”。这是一个非常麻烦的解释,但是您可以查看本文(从以上站点链接)以获得更多详细信息。它大部分是自动化的,但是我想它仍然需要大量的人工参数调整才能获得良好的结果。

这篇论文来自2009年,看起来好像有一些此后的后续行动,只是逐步的改进。

还要注意,如果您有特定的用例,例如阅读车辆牌照,我想可以使用机器学习技术来获得比一般情况下要好得多。在这种情况下,您拥有一组具体的已知形状(可以显示在车牌上的字符,以用于车牌的特定字体显示),而不是“增强”字面上的任何图像,而是只是试图找到最匹配您正在查看的图像的字符集。不过,那不是我的专业领域。

评论


$ \ begingroup $
我还没有听说过这样做,但是我真的认为可以使用时间技术从视频流中获得亚像素精度。
$ \ endgroup $
–艾伦·沃尔夫(Alan Wolfe)
16年1月9日在2:18

$ \ begingroup $
@AlanWolfe一定。谷歌搜索“视频超分辨率”发现了关于该想法的大量论文。
$ \ endgroup $
–内森·里德(Nathan Reed)
16年1月9日,下午4:53

$ \ begingroup $
前一段时间我曾玩过SISR,但我的头脑很聪明,决定从大脑中清除这些信息。如果我能想起(我在论文中提到过)一个重要的方面,我会在您的出色答案中明确指出:不仅要在原始图像中搜索图案或子结构,还要在其多个比例尺中进行搜索。尽管正如我所说,我不记得那么多细节,但是IIRC可以带来更好的结果:(
$ \ endgroup $
–cifz
16年1月9日在17:40