基于深度学习的视频路面积雪状态细粒度识别方法及系统

1.本发明涉及人工智能技术领域，尤其是基于深度学习的视频路面积雪状态细粒度识别方法及系统。


背景技术：

2.一些地区地理气候条件复杂，冬季气候寒冷，局部地区暴风雪、风暴、极寒天气时有发生。在冬季，高速公路时常经过一整夜的暴风雪后被厚厚的积雪覆盖，由于没有实时的监控高速公路的路面状态是否被积雪覆盖、是否有利与车辆通行，所以铲雪车也不能总是及时知道哪些路段需要进行积雪清理，并且交通管理中心也不能及时的了解路面的状况及时的采取通行或是封路的措施。另一方面，高速公路具有行车速度快的特点，而路面积雪会导致路面的附着系数和摩擦系数改变，对冬季的行车安全带来极大的隐患，因此本发明针对高速公路路面的积雪状态进行检测。
3.通常，对路面进行积雪检测的方法为非接触式的方法，非接触式的方法主要有通过传感器获得的气象数据对积雪进行检测以及通过监控摄像头获取路面图像的方法进行积雪检测。
4.基于气象数据的研究方法中，遥感方法只能获取大尺度的积雪状态数据，而气象站获取的其他气象数据也因为气象站的分布比较稀疏、有限，因此数据信息是比较粗粒度的，而不能做到对高速公路网进行密集的、具体的路面状态检测。因此，要对高速公路的具体路段进行路面状态的监测还是需要通过较为直观、具体的图像数据获取。
5.另一方面，现在基于深度学习的路面状态检测方法对于积雪程度的划分只是基于图像进行分类或分割，从图像数据集上提高路面状态检测的准确性，没有和路面监控视频相结合来进行视频分析，缺少了对于视频图像序列中车辆运动对积雪影响的考虑以及检测结果变化的平滑性的考虑。


技术实现要素：

6.有鉴于此，本发明实施例提供基于深度学习的视频路面积雪状态细粒度识别方法及系统。
7.本发明的第一方面提供了一种基于深度学习的视频路面积雪状态细粒度识别方法，包括：
8.根据深度学习方法对获取到的路面图像进行特征提取以及分类处理，得到路面特征；
9.根据所述路面特征训练得到路面状态判别模型，其中，所述路面状态判别模型用于对输入的路面图像进行积雪识别，得到路面积雪状态判别结果；
10.利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，以去除车流对所述路面积雪状态判别结果的影响；
11.将路面背景图片输入到优化后的路面状态判别模型，得到路面积雪状态判别结
果。
12.可选地，所述方法还包括：
13.确定路面积雪状态的分类标准，其中，所述分类标准依据积雪覆盖的车道数划分，包括严重积雪、大量积雪、中等积雪、少量积雪、干燥和潮湿；
14.所述路面状态判别模型基于resnet18网络，保留前17层卷积层作为特征提取模块，最后一层修改为分类数为6的全连接层；
15.所述路面状态判别模型为在路面积雪图像数据集上训练所保存的测试损失最低的最佳模型。
16.可选地，所述方法还包括：
17.所述路面状态判别模型识别时，输入为序列化图像格式的视频，输出为实时的预测分类结果；
18.逐帧对视频图像进行预处理、融合视频序列的时间信息进行视频分析，再输入到路面状态判别模型进行路面积雪状态判别，并对结果进行平滑处理。
19.可选地，所述利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，包括：
20.利用混合高斯背景建模从路面视频中提取路面背景图像；
21.根据所述路面背景图像进行路面背景建模；
22.根据所述路面背景建模对所述路面视频进行视频分析，将视频分析提取到的道路背景图片输入所述路面状态判别模型。
23.可选地，所述利用混合高斯背景建模从路面视频中提取路面背景图像，包括：
24.将每个新像素值与多个模型比较，找到与所述新像素值匹配的分布模型；
25.判断各个新像素值所匹配的分布模型是否符合背景要求，若是，则判定该新像素属于背景；若否，则判定该新像素属于前景；
26.若有新像素值找不到相匹配的分布模型，则将所述多个模型中权重最小的模型替换。
27.可选地，所述根据所述路面背景建模对所述路面视频进行视频分析，包括：
28.对路面视频进行解码，得到每一帧图像以及各帧图像对应的图像信息；所述图像信息包括视频帧的高度、宽度、帧率以及总帧数；
29.将解码得到的图像进行缩放；
30.获取视频段的时间戳，根据所述时间戳设置时间开关，以及时间开关的阈值范围，确定是否采用混合高斯背景建模提取路面背景图像；
31.对解码得到存在跳变现象的图像帧进行平滑处理。
32.可选地，所述方法还包括：
33.创建可视化交互界面；
34.在所述可视化交互界面中输入视频数据，输出路面积雪程度结果；
35.其中，所述可视化交互界面包括视频时间戳控件、视频画布展示控件、运行功能键、退出功能键以及标题模块控件。
36.本发明实施例另一方面还提供了一种基于深度学习的视频路面积雪状态细粒度识别系统，包括：
37.第一模块，用于根据深度学习方法对获取到的路面图像进行特征提取以及分类处理，得到路面特征；
38.第二模块，用于根据所述路面特征训练得到路面状态判别模型，其中，所述路面状态判别模型用于对输入的路面图像进行积雪识别，得到路面积雪状态判别结果；
39.第三模块，用于利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，以去除车流对所述路面积雪状态判别结果的影响；
40.第四模块，用于将路面背景图片输入到优化后的路面状态判别模型，得到路面积雪状态判别结果。
41.本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
42.所述存储器用于存储程序；
43.所述处理器执行所述程序实现如前面所述的方法。
44.本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
45.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
46.本发明的实施例根据深度学习方法对获取到的路面图像进行特征提取以及分类处理，得到路面特征；根据所述路面特征训练得到路面状态判别模型，其中，所述路面状态判别模型用于对输入的路面图像进行积雪识别，得到路面积雪状态判别结果；利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，以去除车流对所述路面积雪状态判别结果的影响；将路面背景图片输入到优化后的路面状态判别模型，得到路面积雪状态判别结果。本发明能提高检测结果的准确性。
附图说明
47.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
48.图1为本发明实施例提供的整体步骤流程图；
49.图2为本发明实施例的一种实施流程图；
50.图3为本发明实施例提供的一种网络结构示意图。
具体实施方式
51.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
52.针对现有技术存在的问题，本发明实施例提供了一种基于深度学习的视频路面积雪状态细粒度识别方法，如图1所示，该方法包括以下步骤：
53.根据深度学习方法对获取到的路面图像进行特征提取以及分类处理，得到路面特征；
54.根据所述路面特征训练得到路面状态判别模型，其中，所述路面状态判别模型用于对输入的路面图像进行积雪识别，得到路面积雪状态判别结果；
55.利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，以去除车流对所述路面积雪状态判别结果的影响；
56.将路面背景图片输入到优化后的路面状态判别模型，得到路面积雪状态判别结果。
57.可选地，所述方法还包括：
58.确定路面积雪状态的分类标准，其中，所述分类标准依据积雪覆盖的车道数划分，包括严重积雪、大量积雪、中等积雪、少量积雪、干燥和潮湿；
59.所述路面状态判别模型基于resnet18网络，保留前17层卷积层作为特征提取模块，最后一层修改为分类数为6的全连接层；
60.所述路面状态判别模型为在路面积雪图像数据集上训练所保存的测试损失最低的最佳模型。
61.可选地，所述方法还包括：
62.所述路面状态判别模型识别时，输入为序列化图像格式的视频，输出为实时的预测分类结果；
63.逐帧对视频图像进行预处理、融合视频序列的时间信息进行视频分析，再输入到路面状态判别模型进行路面积雪状态判别，并对结果进行平滑处理。
64.可选地，所述利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，包括：
65.利用混合高斯背景建模从路面视频中提取路面背景图像；
66.根据所述路面背景图像进行路面背景建模；
67.根据所述路面背景建模对所述路面视频进行视频分析，将视频分析提取到的道路背景图片输入所述路面状态判别模型。
68.可选地，所述利用混合高斯背景建模从路面视频中提取路面背景图像，包括：
69.将每个新像素值与多个模型比较，找到与所述新像素值匹配的分布模型；
70.判断各个新像素值所匹配的分布模型是否符合背景要求，若是，则判定该新像素属于背景；若否，则判定该新像素属于前景；
71.若有新像素值找不到相匹配的分布模型，则将所述多个模型中权重最小的模型替换。
72.可选地，所述根据所述路面背景建模对所述路面视频进行视频分析，包括：
73.对路面视频进行解码，得到每一帧图像以及各帧图像对应的图像信息；所述图像信息包括视频帧的高度、宽度、帧率以及总帧数；
74.将解码得到的图像进行缩放；
75.获取视频段的时间戳，根据所述时间戳设置时间开关，以及时间开关的阈值范围，确定是否采用混合高斯背景建模提取路面背景图像；
76.对解码得到存在跳变现象的图像帧进行平滑处理。
77.可选地，所述方法还包括：
78.创建可视化交互界面；
79.在所述可视化交互界面中输入视频数据，输出路面积雪程度结果；
80.其中，所述可视化交互界面包括视频时间戳控件、视频画布展示控件、运行功能键、退出功能键以及标题模块控件。
81.本发明实施例另一方面还提供了一种基于深度学习的视频路面积雪状态细粒度识别系统，包括：
82.第一模块，用于根据深度学习方法对获取到的路面图像进行特征提取以及分类处理，得到路面特征；
83.第二模块，用于根据所述路面特征训练得到路面状态判别模型，其中，所述路面状态判别模型用于对输入的路面图像进行积雪识别，得到路面积雪状态判别结果；
84.第三模块，用于利用混合高斯背景建模进行视频分析，通过对路面背景的建模来优化所述路面状态判别模型，以去除车流对所述路面积雪状态判别结果的影响；
85.第四模块，用于将路面背景图片输入到优化后的路面状态判别模型，得到路面积雪状态判别结果。
86.本发明实施例另一方面还提供了一种电子设备，包括处理器以及存储器；
87.所述存储器用于存储程序；
88.所述处理器执行所述程序实现如前面所述的方法。
89.本发明实施例另一方面还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如前面所述的方法。
90.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
91.下面结合说明书附图，对本技术的具体实现原理进行详细说明：
92.本发明旨在发明一种基于视频图像的高速公路路面积雪状态的细粒度判别方法，利用已有的高速公路监控视频，根据积雪覆盖的车道数量划定高速公路的积雪覆盖程度，实现实时的对高速公路路面状态分类，以提供路面的实时信息，帮助交通管理者和交通参与者获取路面信息，提高冬季高速公路的长途行车安全性。
93.本发明提供了一种基于基于高速公路监控视频，利用深度学习方法对路面图像进行特征提取和分类，训练得到根据截取的路面图像判断路面积雪状态的判别模型，然后利用混合高斯背景建模进行视频分析，通过对路面背景进行建模去除车流对于路面状态判别的影响，并根据视频段的时间戳信息来设置时间开关来有选择地使用混合高斯背景建模，最后将路面背景图片输入到判别模型中进行状态判别，平滑结果并输出结果。这样可以通过时间开关适应了光线的变化，提高了算法的鲁棒性。本发明的整体算法流程如图2所示，主要包括以下步骤(1)-(4)：
94.(1)划定路面积雪状态分类标准：
95.首先，由于车道被积雪覆盖的数量直接影响了高速公路路段的实际通行能力，因此根据高速公路行车道被积雪覆盖的车道数量划定路面积雪状态的分类标准：所有车道全
部被积雪覆盖——严重积雪(heavy snow)，大多数车道被积雪覆盖——大量积雪(large snow)，部分车道被积雪覆盖——中等积雪(mediumsnow)，少量车道被积雪覆盖——少量积雪(light snow)，无积雪覆盖——干燥(dry)，路面潮湿——潮湿(humid)，根据以上分类标准，本算法所能识别的路面状态一共有以上6类。
96.根据上述的6中分类标准制作路面状态数据集，作为训练路面状态判别模型的输入和测试验证数据。
97.(2)路面状态判别模型：
98.本发明采用了resnet18网络作为判别模型的骨架网络，然后对分类层进行微调，保留前17层的卷积层作为特征提取模块，在特征提取模块后添加一层分类数为6的全连接层作为微调后的网络结构，具体网络结构如图3所示。在本发明的算法中，规定输入图片尺寸为448x448x3，利用微调后的resnet18网络来训练学习自制的高速公路路面数据集中的训练集，拟合特征提取模块和分类器的参数，从而获得从输入图片到分类结果的映射函数。
99.判别模型的算法包括数据集读取模块、训练模块和测试模块。数据集读取模块从标注文件中读取图片路径和图片标签，从而获取图片和真实的分类标签，为了提高算法的泛化性还需要对图片进行数据增强操作，如下面表1所示：
100.表1
[0101][0102]
训练和测试模块的编写是基于pytorch深度学习框架，将图片送入网络进行训练，并加载imagenet上resnet18的预训练权重，初始学习率设置为10-4
，以阶梯形式每一轮训练衰减为原来的0.8倍，优化器为adam优化器，权重衰减设置为10-5
，batch size设置为24，一共训练50轮，训练过程中保留下目前的测试集准确率最高的模型，并记录下每一轮的总准确率和各个类的准确率。
[0103]
测试模块的模型骨架和训练模块相同，不同在于将训练过程中保存的最优模型的参数加载到微调过的resnet18上，输入图片进行测试输出分类结果。并且测试模块和最优模型的参数可以移植到后面的视频分析中。
[0104]
(3)视频分析：
[0105]
由于将训练好的模型用于视频分析时会有断断续续的车流经过，遮挡路面有碍检测，并且大量车流经过路面时会导致分类结果频繁跳变，影响分类的准确性，因此有必要对高速公路行车道进行背景建模，提取道路背景图片经处理后再送入模型进行路面状态的判别。
[0106]
a.背景图片提取
[0107]
本发明通过混合高斯背景建模来提取路面背景图像，混合高斯背景建模是基于像素背景统计信息的背景建模方法，利用背景像素在较长时间内大量样本的概率密度信息来表示背景，然后利用3sigma法则来判断像素点是否属于背景，并在视频序列中对混合高斯模型的权重和参数进行动态更新。
[0108]
对于视频序列来说，每个像素点的处理都是相互独立的，并假设背景像素的统计规律服从多种高斯分布，利用多种高斯分布的加权分布来拟合，并且各个高斯分布的权值和参数所时间更新。当处理彩色图像时，假定图像像素点的r、g、b通道相互独立并具有相同的方差，对于t时刻的采样点x
t
＝(r
t
,g
t
,b
t
)其服从的混合高斯分布概率密度函数为：
[0109][0110][0111][0112]
其中，(r
t
,g
t
,b
t
)代表t时刻采样点的r、g、b三通道值；k是高斯分布的数量，η(x
t
,μ
i,t
,τ
i,t
)为t时刻第i个高斯分布概率密度函数，μ
i,t
为均值，τ
i,t
为协方差，为方差，i为三维单位矩阵，w
i,t
为t时刻第i个高斯分布的权重。
[0113]
算法流程如下：
[0114]
每个新像素值x
t
同当前的k个模型比较，直到找到匹配新像素值的分布模型，即同该模型的均值偏差在2.5个标准差范围内，表达式为：
[0115]
|x
t-μ
i，t-1
|≤2.5σ
i,t-1
[0116]
其中，σ
i,t-1
代表t-1时刻第i个正态分布的标准差。
[0117]
如果所匹配的模式符合背景要求，则该像素属于背景，否则属于前景。
[0118]
各权值按如下公式更新，其中α是学习率，对于匹配模式m
k,t
＝1，否则m
k,t
＝0，然后各模式的权重进行归一化，表达式为：
[0119]wk,t
＝(1-α)
×wk.t-1
α
×mk,t
[0120]
未匹配模式的均值μ与标准差σ不变，匹配模式的参数按照如下公式更新：
[0121]
ρ＝α
×
η(x
t
|μk,σk)
[0122]
μ
t
＝(1-ρ)
×
μ
t-1
ρ
×
x
t
[0123][0124]
其中，ρ代表均值的更新率；α代表学习率；η(x
t
|μk,σk)代表像素值x
t
的概率；μ
t
代表更新后t时刻的均值。
[0125]
如果第1步中无任何模式匹配，则权重最小的模式被替换，即该模式的均值为当前像素值，标准差为初始较大值，权重为较小值。
[0126]
各模式根据w/α2按降序排列，权重大、标准差小的模式排列靠前。
[0127]
选b个模式作为背景，b满足下式，参数t表示背景所占的比例：
[0128][0129]
虽然混合高斯背景建模的计算量相比帧差法大，但是背景提取效果稳定，可以应对背景像素点具有多峰特性的场合，比如来回摆动的树叶、视频画面的轻微抖动等。
[0130]
b.视频分析具体流程
[0131]
视频分析采用python的opencv库实现，将视频解码后获得每一帧图像，并且获得视频的各项基本信息，如视频帧的高度、宽度、帧率、总帧数等。由于混合高斯背景建模的计算量较大，为了识别的实时性，也为了节省计算资源，先将原来大小为(1920，1080)的图片缩放至(960，540)的大小。并由交互界面的输入获取视频段的时间戳，将时间戳作为一个是否采用混合高斯背景建模提取路面背景图像的一个时间开关。根据北方地区冬季的实际光线情况，当时间段为上午10点至下午6点为白天，此时间段内车流量大，车流遮挡路面，会对分类结果产生不利影响，因此可以通过高斯背景建模提取路面背景图片；当时间段为下午6点到第二天10点前为夜晚，车流量小，短时间内出现的车灯导致图像画面内大面积像素值的突变，会对高斯背景建模带来不利的影响，因此不需要提取背景图。
[0132]
然后将白天的路面背景图片/夜晚的图片缩放至(448，448)的尺寸加载训练好的模型对背景提取后的图片进行分类预测。由于视频序列逐帧预测过程中，不可避免的会出现路面状态发生变化过程中个别帧存在跳变的情况，为了输出结果在视觉上的连续性，需要再进行一个平滑处理，即每4秒(100帧)用平均值来平滑输出结果，使得输出结果有个过渡过程。
[0133]
最终，在视频分析中，视频流输出的判别结果显示能够稳定的准确的输出，并且从加载模型到对每一帧图片进行背景提取、分类、平滑结果的一系列过程，测试得到检测速度为36fps，符合实时性的要求，可以为高速公路监控摄像头提供实时的监控方案。
[0134]
(4)算法的输入和输出流程
[0135]
为了方便展示运行结果以及能够直接实现输入视频路径及名称即可获得路面状态的变化动态，本发明还设计了一个简易的高速公路路面状态检测的可交互界面，其中包括了视频输入、结果输出、视频的时间戳、视频画布展示、运行功能键、退出功能键以及标题模块。只需要输入视频段的路径、大致的时间戳即可获得视频的实时更新的路面积雪程度结果，以及该段视频的同步展示。
[0136]
综上所述，本发明利用深度学习来对路面积雪图像判别的方法，并结合混合高斯背景建模来提取路面背景图像去除车流影响，将深度学习方法和传统的视频分析方法相结合。本发明根据实际情况，设计了时间开关来有选择地使用混合高斯背景建模来进行视频分析，运用工程方法增加算法的鲁棒性。本发明是一种基于视频流的、实时的、平稳的路面积雪状态检测方法，现有研究多基于图片、视频帧，没有利用到连续的视频序列信息。
[0137]
相较于现有技术，本发明可以在视频流上实时的检测当前的高速公路路面积雪状态的变化，可以在固定场景下各个路面状态类别的识别准确率达到100％，并且测试表明不受到车道外如路肩积雪的影响。本发明的识别过程可以交互的输入和输出结果，采用了时间开关和平滑结果的手段使得路面积雪状态的识别结果具有连续性、合理性。
[0138]
在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提
到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
[0139]
此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
[0140]
所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
[0141]
在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
[0142]
计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0143]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场
可编程门阵列(fpga)等。
[0144]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0145]
尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
[0146]
以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。