本发明涉及处理高动态范围(high dynamic range，hdr)图像，例如，将hdr图像转换为标准动态范围(standard dynamic range，sdr)图像。作为处理的一部分，向hdr图像添加随机噪声，以消除带状伪影。本发明提供了一种用于实现hdr图像处理的设备、方法和计算机程序，其中，考虑了hdr图像的局部对比值。该设备、方法和计算机程序可以用于计算机视觉应用。
背景技术：
1、hdr图像通常使用感知量化(perceptual quantizer，pq)曲线或混合对数伽玛(hybrid log-gamma，hlg)曲线从线性域变换为非线性域，然后编码为10位或12位。pq曲线和hlg曲线均在r-rec-bt.2100中进行了标准化。对于大多数自然图像，编码到10位足以确保高图像质量，例如，不会出现带状伪影。
2、然而，在许多情况下，hdr图像必须转换为sdr图像，才能在sdr显示器上显示。传统的sdr显示器通常需要使用伽玛曲线进行非线性变换，而且仅支持8位的图像编码。伽玛曲线有多种变体，最典型的一种变体在itu-r建议bt.1886中进行了标准化。在将hdr图像编码为8位sdr图像时，精确度损失通常会导致带状伪影。图1示出了带状伪影100的示例。在此处，在该示例中，原始hdr图像具有高精确度，更具体地说具有浮点精确度，输出的sdr图像在使用伽玛曲线编码为8位之后最终会出现可见的带状伪影。
3、遗憾的是，大多数中低端智能手机和ar/vr耳机(即用于增强现实(augmentedreality，ar)和虚拟现实(virtual reality，vr)的头戴式显示器)都包括这样的传统sdr显示器，这说明普遍需要将hdr图像转换为8位sdr图像。
4、最近，一些高端智能手机和电视(television，tv)已经能够支持10位sdr图像。然而，非线性曲线仍然是伽玛曲线。在从pq或hlg转换为伽玛时，仍然存在误差，这会再次产生带状伪影。
5、解决带状伪影的最典型方法之一是在处理hdr图像并将其转换为sdr图像的过程中，向图像添加随机噪声。流行的图像编辑器通常都提供这样的功能。在hdr图像转换为sdr后会出现带状伪影的部分中，会添加随机噪声。随机噪声的强度通常由用户或调色师进行调整。值得注意的是，随机噪声的强度(电平)很重要。如果添加的随机噪声的电平足够高，则带状伪影不再可见。如果添加的随机噪声的电平太低，则带状伪影仍然可见。另一方面，如果添加的随机噪声的电平太高，则随机噪声在sdr图像中可见，这也会降低图像质量。因此，找到一个好的平衡点很重要。
6、在实践中，由于图像和视频的数量巨大，所以人手动处理所有图像或视频帧是不现实的。因此，人们提出了添加随机噪声的自动算法。最典型的方法是使用伪随机噪声进行图片编码，这种方法简单有效。
7、然而，希望改进这种方法，因为添加的噪声电平是固定的。对于一些图像，噪声可能太弱以至于无法去除带状伪影，而对于另一些图像，噪声可能太强而造成干扰。随机噪声通常被添加到完整的图像中，因此，噪声也被添加到没有明显带状伪影的区域。因此，噪声可以在输出的sdr图像中变得可见，并且可以降低其图像质量，尤其是在这些没有明显带状伪影的区域中。
技术实现思路
1、鉴于上述情况，本发明的目的是在处理hdr图像的过程中，例如，在将hdr图像转换为sdr图像的过程中，改善对带状伪影的去除。本发明的目标是通过向hdr图像添加适量的随机噪声，去除带状伪影。这适用于任何hdr图像，因此目的是考虑hdr图像的内容。本发明还旨在避免在将hdr图像处理成sdr图像时，向首先不会显示带状伪影的hdr图像的区域添加随机噪声。
2、这些和其他目的通过所附独立权利要求的主题来实现。有利的实现方式在从属权利要求中进一步定义。
3、本发明的第一方面提供了一种用于处理hdr图像的设备，该设备用于：确定hdr图像的多个图像块，其中，每个图像块包括多个像素；为多个图像块中的每个图像块：确定图像块的局部对比值；向图像块添加随机噪声，其中，添加到图像块的随机噪声的电平取决于图像块的局部对比值。
4、第一方面的设备用于向每个图像块分别添加随机噪声。因此，hdr图像的不同区域会得到不同的处理。例如，可以避免向hdr图像的区域添加随机噪声，这些区域首先不会显示带状伪影。此外，第一方面的设备考虑图像块的相应局部对比值。这说明，每个图像块可能会获得不同电平的随机噪声，特别是为该图像块选择的随机噪声。局部对比值反映了各个图像块的内容。因此，在添加随机噪声时，第一方面的设备能够考虑到整个hdr图像的内容。总体而言，在处理hdr图像(例如，转换为sdr图像)的过程中，去除带状伪影得到了改进。
5、在第一方面的一种实现方式中，该设备用于根据图像块的局部对比值向hdr图像的所有图像块自适应地逐块添加随机噪声。
6、最后，向hdr图像添加随机噪声，以避免带状伪影，其中，向hdr图像中的每个图像块添加适量的随机噪声。
7、在第一方面的一种实现方式中，该设备用于为多个图像块中的每个图像块：确定图像块的编码误差值；其中，添加到图像块的随机噪声的电平还取决于图像块的编码误差值。
8、这样就能为hdr图像中的每个图像块提供适量的随机噪声，从而进一步减少带状伪影。
9、在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：计算图像块的编码误差值与局部对比值之间的比值；其中，添加到图像块的随机噪声的电平取决于为图像块计算的比值。
10、这样，将两个影响因素——编码误差值和局部对比值——以最有效的方式综合考虑。
11、在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：确定为图像块计算的比值是小于还是大于第一阈值和第二阈值；其中，如果为图像块计算的比值小于第一阈值，则添加到图像块的随机噪声的电平是最小噪声电平或零；其中，如果为图像块计算的比值大于第二阈值，则添加到图像块的随机噪声的电平是最大电平；其中，如果为图像块计算的比值在第一阈值与第二阈值之间，则添加到图像块的随机噪声的电平在最小噪声电平与最大噪声之间，并且取决于该比值。
12、这就进一步避免了一方面向任何图像块添加过多的随机噪声，另一方面在非绝对必要的情况下不添加随机噪声或只添加少量随机噪声。
13、在第一方面的一种实现方式中，如果为图像块计算的比值在第一阈值与第二阈值之间：如果图像块的局部对比值较小，则添加到图像块的随机噪声的电平较大；和/或如果图像块的编码误差值较大，则添加到图像块的随机噪声的电平较大。
14、通过这种方式，可以最有效地消除带状伪影。
15、在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：基于图像块的像素的平均像素值，确定最大噪声电平。
16、因此，基于hdr图像的内容或特征，确定最大噪声电平。
17、在第一方面的一种实现方式中，该设备还用于将包括添加到每个图像块的随机噪声的hdr图像转换为sdr图像。
18、在第一方面的一种实现方式中，该设备用于将hdr图像从pq域转换为线性域或伽玛域；在线性域或伽玛域中，向多个图像块中的每个图像块添加随机噪声。
19、在第一方面的一种实现方式中，该设备用于在线性域中，向hdr图像中的每个图像块添加随机噪声之后，将hdr图像从线性域转换为伽玛域，然后基于转换为伽玛域的hdr图像，使用量化生成sdr图像；或者，在伽玛域中，向hdr图像中的每个图像块添加随机噪声之后，在伽玛域中基于hdr图像，使用量化生成sdr图像。
20、在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：在伽玛域或线性域中，确定图像块的编码误差。
21、在第一方面的一种实现方式中，该设备还用于通过以下步骤确定图像块的编码误差值：在伽玛域中，量化图像块的像素的原始像素值，以获得经量化的像素值；将经量化的像素值从伽玛域转换为线性域，以获得重建的像素值；基于原始像素值与重建的像素值之间的均方误差，计算图像块的编码误差。
22、在第一方面的一种实现方式中，该设备还用于为多个图像块中的每个图像块：基于图像块中的每个像素的像素值和图像块中的所有像素的平均像素值，确定图像块的局部对比值。
23、因此，本发明的方案可以在线性域或伽玛域中实现，从而为不同的应用提供高度的灵活性和适应性。
24、本发明的第二方面提供了一种用于处理hdr图像的方法，该方法包括：确定hdr图像的多个图像块，其中，每个图像块包括多个像素；为多个图像块中的每个图像块：确定图像块的局部对比值；向图像块添加随机噪声，其中，添加到图像块的随机噪声的电平取决于图像块的局部对比值。
25、在第二方面的一种实现方式中，该方法包括根据图像块的局部对比值向hdr图像的所有图像块自适应地逐块添加随机噪声。
26、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块，确定图像块的编码误差值；其中，添加到图像块的随机噪声的电平还取决于图像块的编码误差值。
27、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块，计算图像块的编码误差值与局部对比值之间的比值；其中，添加到图像块的随机噪声的电平取决于为图像块计算的比值。
28、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：确定为图像块计算的比值是小于还是大于第一阈值和第二阈值；其中，如果为图像块计算的比值小于第一阈值，则添加到图像块的随机噪声的电平是最小噪声电平或零；其中，如果为图像块计算的比值大于第二阈值，则添加到图像块的随机噪声的电平是最大电平；其中，如果为图像块计算的比值在第一阈值与第二阈值之间，则添加到图像块的随机噪声的电平在最小噪声电平与最大噪声电平之间，并且取决于该比值。
29、在第二方面的一种实现方式中，如果为图像块计算的比值在第一阈值与第二阈值之间：如果图像块的局部对比值较小，则添加到图像块的随机噪声的电平较大；和/或如果图像块的编码误差值较大，则添加到图像块的随机噪声的电平较大。
30、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：基于图像块的像素的平均像素值，确定最大噪声电平。
31、在第二方面的一种实现方式中，该方法包括将包括添加到每个图像块的随机噪声的hdr图像转换为标准动态范围(standard dynamic range，sdr)图像。
32、在第二方面的一种实现方式中，该方法包括将hdr图像从pq域转换为线性域或伽玛域；在线性域或伽玛域中，向多个图像块中的每个图像块添加随机噪声。
33、在第二方面的一种实现方式中，该方法包括在线性域中，向hdr图像中的每个图像块添加随机噪声之后，将hdr图像从线性域转换为伽玛域，然后基于转换为伽玛域的hdr图像，使用量化生成sdr图像；或者，在伽玛域中，向hdr图像中的每个图像块添加随机噪声之后，在伽玛域中基于hdr图像，使用量化生成sdr图像。
34、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：在伽玛域或线性域中，确定图像块的编码误差。
35、在第二方面的一种实现方式中，该方法包括通过以下步骤确定图像块的编码误差值：在伽玛域中，量化图像块的像素的原始像素值，以获得经量化的像素值；将经量化的像素值从伽玛域转换为线性域，以获得重建的像素值；基于原始像素值与重建的像素值之间的均方误差，计算图像块的编码误差。
36、在第二方面的一种实现方式中，该方法包括为多个图像块中的每个图像块：基于图像块中的每个像素的像素值和图像块中的所有像素的平均像素值，确定图像块的局部对比值。
37、第二方面的方法可以由第一方面的设备执行。第二方面及其实现方式的方法实现了与上述针对第一方面及其相应实现方式的设备所描述的相同的优点。
38、本发明的第三方面提供了一种计算机程序，所述计算机程序包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据第二方面或其实现方式中的任何实现方式所述的方法。
39、本发明的第四方面提供了一种非瞬时性存储介质，所述非瞬时性存储介质存储可执行程序代码，所述可执行程序代码当由处理器执行时，执行根据第二方面或其实现方式中的任一种所述的方法。
40、根据各方面和实现方式，本发明建议以图像块方式向hdr图像添加随机噪声。随机噪声的电平可以基于每个图像块的局部对比值，还可以基于每个图像块的编码误差值自适应地计算。
41、这种方法具有两个主要优点。首先，hdr图像质量与局部对比值高度相关，因此，这种局部对比值可以用于评估hdr图像质量。因此，基于局部对比值计算随机噪声电平比其他度量(例如，直方图或梯度)更有效。
42、其次，随机噪声电平是逐块而不是逐像素地计算的。因此，对于本发明的方案，计算复杂度大大降低。这也说明具有更高的速度和更低的功耗。特别是当涉及到对功比敏感的设备(例如，智能手机或ar/vr耳机)中的硬件实现时。
43、需要注意的是，本技术中描述的所有设备、元件、单元和模块可以在软件或硬件元件或其任何类型的组合中实现。本技术中描述的各种实体所执行的所有步骤以及所描述的各种实体要执行的功能均意在指相应实体用于执行相应步骤和功能。虽然在以下具体实施例的描述中，外部实体执行的具体功能或步骤没有在执行具体步骤或功能的实体的具体详述元件的描述中反映，但是技术人员应清楚，这些方法和功能可以通过相应的硬件或软件元件或其任何组合实现。
1.一种用于处理高动态范围(high dynamic range，hdr)图像(201)的设备(200)，其特征在于，所述设备(200)用于：
2.根据权利要求1所述的设备(200)，其特征在于，所述设备用于根据所述图像块(202)的所述局部对比值(203)向所述hdr图像(201)的所有图像块(202)自适应地逐块添加随机噪声(204)。
3.根据权利要求1或2所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
4.根据权利要求3所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
5.根据权利要求4所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
6.根据权利要求5所述的设备(200)，其特征在于，如果为所述图像块(202)计算的所述比值在所述第一阈值与所述第二阈值之间：
7.根据权利要求5或6所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(200)：
8.根据权利要求1至7中任一项所述的设备(200)，其特征在于，所述设备还用于将包括添加到每个图像块(202)的所述随机噪声(204)的所述hdr图像(201)转换为标准动态范围(standard dynamic range，sdr)图像(401)。
9.根据权利要求1至8中任一项所述的设备(200)，其特征在于，所述设备还用于：
10.根据权利要求8和9所述的设备(200)，其特征在于，所述设备还用于：
11.根据权利要求3至10中任一项所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
12.根据权利要求11所述的设备(200)，其特征在于，所述设备还用于通过以下步骤确定所述图像块(202)的所述编码误差值：
13.根据权利要求1至11中任一项所述的设备(200)，其特征在于，所述设备还用于为所述多个图像块中的每个图像块(202)：
14.一种用于处理高动态范围(high dynamic range，hdr)图像(201)的方法(600)，其特征在于，所述方法(600)包括：
15.一种计算机程序，其特征在于，所述计算机程序包括指令，当所述程序由计算机执行时，所述指令使所述计算机执行根据权利要求14所述的方法(600)。
