影像处理装置、影像处理方法和影像处理程序与流程

1.本发明涉及一种将拍摄区域的一部分重叠而拍摄到的多个影像进行连结的技术。


背景技术：

2.在非专利文献1中，将由多个摄像机拍摄到的影像在水平垂直方向上实时接合，合成拍摄了具有广阔的竞技空间的场地竞技的整体情况的环绕影像。在连接相邻的影像时，在相邻的影像重叠的重叠区域中设定接缝(seam)。通过接缝切取相邻的影像并进行连结，由此得到合成影像。
3.在专利文献1中，为了在接合多个影像时不使接缝引人注意，设定了接缝不通过的禁止区域。例如，通过对人物等移动物体设定禁止区域，能够避免因移动物体与接缝重叠而产生的移动物体的缺损和伸长。
4.现有技术文献
5.专利文献
6.专利文献1：日本特开2019
‑
36906号公报
7.非专利文献
8.非专利文献1：佐藤孝子、難波功次、小野正人、菊地由実、山口徹也、小野朗、「競技空間全体
の
高臨場
ライブ
中継
に
向
けたサラウンド
映像合成
·
同期伝送技術」、ntt技術
ジャーナル
、日本電信電話株式会社、2017，vol.29，no.10，pp.19－23。


技术实现要素：

9.发明要解决的课题
10.随着移动物体的移动，接缝有时会避开设定于移动物体的禁止区域而大幅变化。在该情况下，存在移动物体看起来不自然地移动这样的问题。例如，在某帧中设定于移动物体的右侧的接缝在下一帧中设定于移动物体的左侧的情况下，在前一帧中在左侧的影像中拍摄的移动物体被用于合成后的影像，在下一帧中在右侧的影像中拍摄的移动物体被用于合成后的影像。根据拍摄左侧影像的摄像机和拍摄右侧影像的摄像机的视差，如果在重叠区域中在左右的影像上的移动物体的位置偏移，则能够看起来移动物体突然移动，或者看起来在与行进方向相反的方向上移动，或者看起来停止。
11.本发明是鉴于所述情况而完成的，其目的在于抑制在将多个影像数据连结时在连结部位的移动物体的不自然的移动。
12.用于解决课题的手段
13.本发明所涉及的影像处理装置将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结，其具备：帧取得单元，其从所述多个影像数据中取得同时拍摄到的多个帧数据；禁止区域设定单元，其在相互邻接的所述帧数据重叠而成的重叠区域设定不使接缝通过的禁止区域；接缝计算单元，其以不通过所述禁止区域的方式计算所述接缝；以及连结帧输出单元，其按照所述接缝将所述多个帧数据连结并输出连结帧数据，在从所述帧数据检
测到的目标进入所述重叠区域时，所述禁止区域设定单元基于所述目标的位置以及移动方向来设定所述禁止区域。
14.本发明的影像处理方法是将重叠拍摄区域的一部分而拍摄到的多个影像数据进行连结的影像处理装置的影像处理方法，该影像处理方法包括以下步骤：从所述多个影像数据取得同时拍摄到的多个帧数据的步骤；在相互邻接的所述帧数据重叠而成的重叠区域中设定不使接缝通过的禁止区域的步骤；以不通过所述禁止区域的方式计算所述接缝的步骤；以及按照所述接缝将所述多个帧数据连结并输出连结帧数据的步骤，在设定所述禁止区域的步骤中，在从所述帧数据检测出的目标进入了所述重叠区域时，基于所述目标的位置以及移动方向来设定所述禁止区域。
15.本发明的影像处理程序使计算机作为所述影像处理装置的各单元而进行动作。
16.发明效果
17.根据本发明，能够抑制在连结多个影像数据时在连结部位处移动物体的不自然的移动。
附图说明
18.图1是表示使用本实施方式的影像处理装置构成的广视角远程监视系统的结构的图。
19.图2是说明本实施方式的影像处理装置的硬件结构及功能块的图。
20.图3是表示本实施方式的影像处理装置的处理流程的流程图。
21.图4是表示重叠帧数据的例子的图。
22.图5是表示在重叠帧数据的重叠区域设定了禁止区域的例子的图。
23.图6是表示通过接缝连结了帧数据的连结帧数据的例子的图。
24.图7是表示设定禁止区域的处理的流程的流程图。
25.图8是示出在重叠区域中检测到的目标的示例的图。
26.图9是示出将包含检测到的目标的一定区域设定为禁止区域的例子的图。
27.图10是示出基于目标的移动方向设定了禁止区域的例子的图。
28.图11是示出根据图10的重叠帧数据求出接缝的例子的图。
29.图12是示出在目标的进入方向侧设定的禁止区域和接缝的时间序列的变化的图。
30.图13是示出在目标的行进方向侧设定的禁止区域和接缝的时间序列的变化的图。
具体实施方式
31.以下，使用附图对本发明的实施方式进行说明。在以下的附图的记载中，对相同或类似的部分标注相同或类似的附图标记。
32.参照图1，对使用了本发明的影像处理的广视角远程监视系统的结构进行说明。该图所示的广视角远程监视系统合成多个影像来生成全景影像，并且从影像取得监视对象物体的物体信息，使用mmtp(mpeg media transport protocol)低延迟地实现经由ip网络同步传输全景影像、声音和物体信息的处理。广视角远程监视系统例如能够用于航空管制、公共空间监视以及防灾监视等广视角下的监视。
33.图1的广视角远程监视系统具备合成处理服务器100、物体信息整合服务器200、解
码服务器300以及整合物体信息接收服务器400。
34.合成处理服务器100具备合成处理部110、编码处理部120以及物体检测/跟踪处理部130。合成处理服务器100从多个摄像系统(例如4k摄像机)分别输入影像和声音，连接影像来合成全景影像，并且从各影像中进行对象物体的检测以及跟踪。
35.合成处理部110将所输入的多个影像实时接合来合成全景影像。合成处理部110动态地变更将影像接合的接缝。合成处理部110在求出接缝时，使用利用了移动物体的跟踪结果的本发明的影像处理来实现合成质量的提高。稍后将描述根据本发明的影像处理的细节。
36.编码处理部120对合成处理部110所合成的全景影像以及声音数据进行编码，转换为mmtp流并向解码服务器300送出。
37.物体检测/跟踪处理部130从各影像实施对象物体的检测以及跟踪。物体检测/跟踪处理部130将各影像中的处理的实施结果(跟踪信息)发送给物体信息整合服务器200，并且发送给合成处理部110。
38.物体信息整合服务器200针对从物体检测/跟踪处理部130输入的各影像的跟踪信息，将物体的各影像上的坐标转换为全景影像上的坐标。物体信息整合服务器200将在重叠了影像的重叠区域中在各个影像中出现的被推定为相同的物体的跟踪信息进行整合。物体信息整合服务器200将在跟踪信息中追加了附加信息的物体信息进行mmtp打包并向整合物体信息接收服务器400送出。可以询问外部服务器来取得附加信息。
39.解码服务器300对从合成处理服务器100接收到的mmtp流进行解码，输出全景影像以及声音。
40.整合物体信息接收服务器400从物体信息整合服务器200接收物体信息的mmtp包，输出物体信息。
41.在显示系统(例如全景屏幕)中，从整合物体信息接收服务器400输出的物体信息重叠显示在从解码服务器300输出的全景影像上。
42.(影像处理装置的结构)
43.参照图2，对本实施方式的影像处理装置1的结构进行说明。影像处理装置1相当于图1的合成处理部110。
44.图2所示的影像处理装置1是将通过多个摄像机c1、c2重叠拍摄区域而拍摄到的多个影像数据进行连结来生成1个影像数据，将连结后的影像数据输出至显示装置d的装置。影像处理装置1搜索在各影像数据的同时拍摄到的帧数据中的适当的接缝，通过搜索到的接缝将各帧数据连接，重构影像数据。在本实施方式中，将在水平方向上排列的2台摄像机c1、c2所拍摄到的影像数据进行合成，但并不限定于此。可以将由3台以上的摄像机拍摄到的影像数据进行合成，也可以将由排列在垂直方向上的摄像机拍摄到的影像数据进行合成，也可以将在水平方向和垂直方向上排列多台摄像机而拍摄到的影像数据进行合成。
45.图2所示的影像处理装置1是具备存储装置10、处理装置20以及输入输出接口30的一般的计算机。一般的计算机执行影像处理程序，由此实现图2所示的功能。
46.存储装置10是rom(read only memory只读存储器)、ram(random access memory随机存取存储器)、硬盘等，存储为了处理装置20执行处理所需的输入数据、输出数据以及中间数据等各种数据。
47.处理装置20是中央处理装置(cpu)或图形处理单元(gpu)，读写存储在存储装置10中的数据，或者与输入输出接口30进行数据的输入输出，执行影像处理装置1中的处理。
48.输入输出接口30接受来自键盘、鼠标等输入装置i以及多个摄像机c1、c2的输入，并将所输入的数据输入到处理装置20。输入输出接口30还将由处理装置20得到的处理结果输出到显示器等显示装置d。在传输处理结果的连结帧数据的情况下，输入输出接口30也可以将编码后的连结帧数据经由网络送出。输入装置i、多个摄像机c1、c2以及显示装置d可以经由通信接口以及通信网络与影像处理装置1连接。另外，也可以代替多个摄像机c1、c2，将存储有预先拍摄到的多个拍摄数据的录像机或存储装置与影像处理装置1连接，使影像处理装置1对预先拍摄到的多个拍摄数据进行处理。
49.存储装置10存储设定数据11、帧信息数据12、禁止区域数据13、接缝数据14以及连结帧数据15。存储装置10也可以存储计算机执行的影像处理程序。
50.设定数据11是影像处理装置1的处理所需的参数等的设定信息。设定数据11例如包含被输入到影像处理装置1的影像数据的数量及其排列、禁止区域数据13的计算所使用的参数。
51.帧信息数据12是在多个摄像机c1、c2输出的多个影像数据中同时拍摄到的各帧数据的信息。帧信息数据12是将摄像机的识别符、像素值、帧率、亮度值等信息与帧数据对应而得到的数据。
52.禁止区域数据13是表示在接缝计算时不作为计算对象的禁止区域的数据。禁止区域由后述的禁止区域设定单元24来设定。
53.接缝数据14是通过后述的接缝计算单元25计算各帧数据的接缝而得的结果的数据。
54.连结帧数据15是按照接缝数据14结合了同时拍摄到的多个帧数据而得到的连结后的帧数据。连结帧数据15成为构成影像处理装置1输出的影像数据的一个帧数据。
55.处理装置20具备设定取得单元21、帧取得单元22、目标检测单元23、禁止区域设定单元24、接缝计算单元25以及连结帧输出单元26。
56.设定取得单元21取得影像处理装置1的处理所需的参数，并存储在设定数据11中。设定取得单元21按照由用户从输入装置i输入的信息取得参数。设定取得单元21可以通过对从摄像机c1、c2输入的各影像数据等进行解析来取得参数。
57.帧取得单元22从由摄像机c1、c2输入的影像数据中分别取得同时拍摄到的帧数据。帧取得单元22针对所取得的各帧数据生成并存储帧信息数据12。帧取得单元22在从摄像机c1、c2输入影像数据时使各影像数据同步，并将各帧数据的时间戳进行匹配。帧取得单元22可以实施用于降低由于多个摄像机c1、c2的拍摄而产生的视差的影响的修正处理以及颜色修正处理。
58.目标检测单元23相当于图1的物体检测/跟踪处理部130。目标检测单元23从帧数据中分别检测对象的目标，并且实施检测出的目标的跟踪。跟踪是指判定由当前的帧数据检测出的目标与由过去的帧数据检测出的目标的同一性，并追踪目标的移动。检测对象的目标是例如成为人物等监视对象的移动物体。
59.禁止区域设定单元24基于在相邻的帧数据的重叠区域中检测出的目标的位置以及目标的移动方向来设定禁止区域。与专利文献1同样，禁止区域设定单元24也可以基于帧
数据的亮度值来设定禁止区域。稍后描述基于检测到的目标的禁止区域的设定方法的细节。
60.接缝计算单元25取得同时拍摄的多个帧数据，不将禁止区域数据13所表示的禁止区域中包含的像素作为接缝计算的计算对象，而计算相互邻接的帧数据的接缝即接缝数据14。更具体而言，接缝计算单元25将邻接方向的行的检索范围的各像素中与之前刚计算的接缝的像素的特征值的差值最少的像素作为该行中的接缝来计算。在此情况下，接缝计算单元25不将禁止区域中包含的像素包含在搜索范围内。另外，接缝计算单元25可以使用缩小了帧数据而得的缩小帧数据来计算接缝。在这种情况下，接缝计算单元25缩小禁止区域来适用。
61.连结帧输出单元26按照接缝计算单元25计算出的接缝数据14来连结多个帧数据，输出没有重叠的连结帧数据15。
62.(影像处理装置的动作)
63.接着，参照图3，说明影像处理装置1的影像处理方法。影像处理装置1在从摄像机c1、c2分别输入的影像数据中，针对同时拍摄到的各帧数据，重复以下的步骤s1～s7的处理。
64.在步骤s1中，帧取得单元22从分别从摄像机c1、c2输入的影像数据中取得在相同时刻拍摄到的各帧数据。
65.在步骤s2中，帧取得单元22将在步骤s1中取得的各帧数据的特征点对应起来，生成重叠帧数据。
66.图4表示重叠帧数据的例子。在图4中表示从由2台摄像机c1、c2同时拍摄到的帧数据f1、f2生成的重叠帧数据。帧取得单元22以使帧数据f1的拍摄区域的右侧特征点与帧数据f2的拍摄区域的左侧特征点一致的方式重叠帧数据f1、f2来生成重叠帧数据。另外，在图4中，以重叠帧数据成为矩形的方式重叠帧数据f1、f2，但在各摄像机c1、c2的侧倾角不同的情况下，也存在倾斜地配设帧数据的情况。
67.在步骤s3中，帧取得单元22对在步骤s2中生成的重叠帧数据设定重叠区域。在图4中，帧数据f1的拍摄区域的右侧和帧数据f2的拍摄区域的左侧重叠的区域是重叠区域r。
68.在步骤s4中，禁止区域设定单元24基于从帧数据f1、f2检测到的目标来设定禁止区域。在图5中图示了禁止区域p。稍后将描述设定禁止区域的处理的细节。
69.在步骤s5中，接缝计算单元25不将禁止区域中包含的像素作为接缝计算的计算对象而依次确定在与帧数据的相邻方向正交的方向上形成接缝的像素来计算接缝。例如，图5中由于帧数据f1、f2在水平方向上相邻，所以接缝计算单元25不将禁止区域p中包含的像素作为接缝计算的计算对象而从重叠区域r的旁边的行中决定1个像素作为接缝，计算在纵向上依次形成接缝的像素，求出接缝sel。
70.在步骤s6中，连结帧输出单元26按照接缝连结各个帧数据，生成连结帧数据15。图6表示通过接缝连结帧数据而得的连结帧数据的例子。图6中，将在接缝sel切开的帧数据f1和帧数据f2接合来生成连结帧数据。
71.步骤s7中，连结帧输出单元26输出在步骤s6中生成的连结帧数据15。该连结帧数据15成为影像处理装置1输出的影像数据的帧数据。
72.(禁止区域的设定)
73.接着，参照图7，对禁止区域的设定处理进行说明。
74.在步骤s41中，目标检测单元23针对各帧数据实施对象的目标的检测以及跟踪。禁止区域设定单元24取得在重叠区域中检测出的目标的帧数据上的位置信息以及移动方向。步骤s41的处理在设定禁止区域之前实施即可。例如，也可以在步骤s1中从各影像数据取得帧数据后实施步骤s41的处理。也可以是，其他装置实施目标的检测以及跟踪，影像处理装置1接收目标的检测结果。
75.图8示出在重叠区域r中检测到的目标o。该图所示的目标o从在水平方向上排列的帧数据f1、f2的左侧(帧数据f1侧)向右侧(帧数据f2侧)移动。
76.另外，目标检测单元23在重叠区域r中在帧数据f1、f2的每一个中检测同一目标o。根据摄像机c1、c2的视差，目标o在帧数据f1中的检测位置与目标o在帧数据f2中的检测位置会有偏离。目标o从帧数据f1向帧数据f2的方向移动，因此目标检测单元23也可以将目标o的帧数据f1中的检测位置设为目标o的位置。也可以将帧数据f1、f2中的目标的检测位置转换为连结帧数据上的坐标，将该坐标设为目标o的位置。在该情况下，即使在帧数据f1、f2中目标o的检测位置发生微小的偏离，如果判断为相同目标，则为相同的坐标。
77.在步骤s42中，禁止区域设定单元24将包含在重叠区域中检测到的目标的一定区域设定为禁止区域，使得不会跨越目标而生成接缝。图9表示将包含目标o的区域设定为禁止区域p1的情形。禁止区域设定单元24例如基于检测出目标o的检测框来设定禁止区域p1。
78.在步骤s43中，禁止区域设定单元24基于设定数据11的参数以及目标的移动方向，将在步骤s42设定的禁止区域和重叠区域的边之间的区域设定为禁止区域。在图10的例子中，禁止区域设定单元24将从禁止区域p1到目标进入重叠区域r的边(重叠区域r的左侧的边)之间的区域设为禁止区域p2。禁止区域设定单元24可以基于目标的移动方向如图10那样将从禁止区域p1到目标的进入方向侧的重叠区域r的边为止的区域设为禁止区域，也可以将从禁止区域p1到目标的行进方向侧的边(在图9中为重叠区域r的右侧的边)为止的区域设为禁止区域。或者，禁止区域设定单元24也可以仅将禁止区域p1设为禁止区域。禁止区域设定单元24也可以基于设定数据11的参数，使在从禁止区域p1到重叠区域r的边之间设定的禁止区域p2的形状以及范围等发生变化。
79.另外，禁止区域设定单元24还可以实施在帧数据的亮度值比预定的阈值高的部分设定禁止区域的处理。通过设定数据11，能够调整阈值等。根据设定，也可以不实施基于亮度值的禁止区域的设定。
80.如图11所示，接缝计算单元25求出接缝sel，使得不通过基于目标设置的禁止区域p。
81.通过上述设定禁止区域的处理，如图12所示，在目标在重叠区域r行进期间，禁止区域p被设定为从目标进入重叠区域r的边到目标的当前位置为止的区域，接缝sel通过目标的行进方向侧。其结果，在目标在重叠区域r行进的期间，进入源的帧数据f1中的目标的图像被用于连结帧数据，因此即使在重叠区域r的各帧数据f1、f2中目标的位置偏离的情况下，也能够在合成影像中抑制重叠区域r中的目标的不自然移动。另外，在重叠区域r中的各帧数据f1、f2上的目标的检测位置成为大致相同(预定的范围内)的定时，禁止区域设定单元24可以将从目标的当前位置到位于行进方向的重叠区域r的边为止的区域设为禁止区域p。
82.图13是表示在目标的行进方向侧设定了禁止区域p的情形的图。在图13的例子中，目标从帧数据f2向帧数据f1行进。在图13中，在目标行进在重叠区域r期间，在从目标的当前位置到目标的行进方向侧的重叠区域r的边为止的区域设定禁止区域p。接缝sel通过目标的后侧。
83.另外，在多个目标进入重叠区域时，在目标为同一方向的情况下，也可以将其总和设为禁止区域。例如，将在同一方向上移动的目标汇总地处理，设定禁止区域。在目标的移动方向不同的情况下，也可以基于目标各自的移动方向来设定禁止区域。或者，也可以对各个目标附加优先级来设定禁止区域。
84.如以上说明的那样，根据本实施方式，帧取得单元22从由摄像机c1、c2输入的影像数据的每一个取得同时拍摄到的帧数据，禁止区域设定单元24基于在相邻的帧数据的重叠区域中检测出的目标的位置以及目标的移动方向，设定在接缝计算时不作为计算对象的禁止区域，接缝计算单元25不将禁止区域中包含的像素作为接缝计算的计算对象而计算彼此相邻的帧数据的接缝，连结帧输出单元26按照接缝将帧数据连结，输出连结帧数据15，从而能够抑制接缝的急剧变化，抑制目标的不自然移动。
85.符号说明
86.1影像处理装置、
87.10存储装置、
88.11设定数据、
89.12帧信息数据、
90.13禁止区域数据、
91.14接缝数据、
92.15连结帧数据、
93.20处理装置、
94.21设定取得单元、
95.22帧取得单元、
96.23目标检测单元、
97.24禁止区域设定单元、
98.25接缝计算单元、
99.26连结帧输出单元、
100.30输入输出接口、
101.100合成处理服务器、
102.110合成处理部、
103.120编码处理部、
104.130物体检测/跟踪处理部、
105.200物体信息整合服务器、
106.300解码服务器、
107.400整合物体信息接收服务器。