分液中的液体状态识别方法及分液系统

1.本发明涉及自动控制技术领域，具体而言，本发明涉及一种分液中的液体状态识别方法及分液系统。


背景技术：

2.分液式过滤过程在工业界，尤其是化工，制药等领域有着广泛的应用。化学生产过程中，反应槽通过等待静置反应物进行分层沉淀，当分层沉淀过程完成后，反应槽下通过不同阀门的开启闭合，实现对不同类型分层液体进行分流收集。在此过程中，传统的方法需要人工通过观察反应槽下管道的透明视窗，并人工判别管内液体状态，再由人工分别控制相应阀门的开闭来进行分流收集。人工控制分液需要耗费过多的人力成本，导致分液效率不高，且依赖于人的经验，缺乏统一的标准，导致分液结果不准确。
3.目前出现了一些利用视觉识别技术分析分液状态，控制分液阀门自动完成分液的方案，但在这些方案中大多是对采集到的液体的图像的单一指标（如颜色或亮度）进行分析，判断液体的液位变化，进而根据液位变化控制分液阀门完成分液。由于分液过程往往伴随着液体的快速流动，同时工业液体一般含有较多杂质，快速流动的液体以及液体中的杂质会显著影响分液界面的判定，现有的方法由于分析指标单一，一般采用实时判断进行液面判定，导致现有技术分液过程的准确性和通用性都较差。


技术实现要素：

4.本发明的目的旨在至少能解决上述的技术缺陷之一，本发明所提供的技术方案如下：第一方面，本发明提供了一种分液中的液体状态识别方法，包括：从进入分液过程起，开始获取管道内液体的视频，并每间隔预设周期，抽取视频中的图像帧；对于每一图像帧，获取该图像帧中待识别区域的图像特征，并将图像特征输入训练好的液体状态识别模型，得到该图像帧对应的预测状态，训练好的液体状态识别模型是通过带有液体状态标签的样本图像帧训练得到；基于各图像帧对应的预测状态，确定管道内的液体状态。
5.在本发明的一种可选实例中，基于各图像帧对应的预测状态，确定管道内的液体状态，包括：确定从进入分液过程起的第一个图像帧对应的预测状态是否为分液过程的初始液体状态；若是，则从后续的图像帧对应的预测状态为新的液体状态起，累计图像帧对应的预测状态为新的液体状态的数量，直至数量不小于预设阈值，则确定管道内的液体状态为新的液体状态，重复该步骤直至确定管道内的液体状态为分液过程的结束状态。
6.在本发明的一种可选实例中，预设阈值通过如下方式确定：
根据管道内液体的流速、以及管道的第一视窗到分液阀门的距离，获取液体从第一视窗到分液阀门所需的时长；将时长与预设周期对应的采样频率的比值向下取整，得到预设阈值。
7.在本发明的一种可选实例中，对于每一图像帧，获取该图像帧中待识别区域的图像特征，包括：将每一图像帧中除待识别区域外的区域作为背景区域，并基于背景区域对待识别区域进行亮度调节；提取亮度调节后的待识别区域的红绿蓝rgb特征、色调饱和度明度hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征。
8.在本发明的一种可选实例中，基于背景区域对待识别区域进行亮度调节，包括：分别获取背景区域和待识别区域的hsv色彩空间；将待识别区域的hsv色彩空间中v空间的每个像素的像素值，与背景区域的hsv色彩空间中v空间的各像素的平均像素值相减；将相减得到的从hsv色彩空间转换至rgb色彩空间，得到亮度调节后的待识别区域。
9.在本发明的一种可选实例中，提取亮度调节后的待识别区域的rgb特征、hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征，包括：将亮度调节后的待识别区域的rgb色彩空间中各色彩空间中各像素的平均像素值，作为rgb特征；将亮度调节后的待识别区域转换至hsv色彩空间，并将hsv色彩空间中各色彩空间中各像素的平均像素值，作为hsv特征；将亮度调节后的待识别区域转换成灰度图像，并将该灰度图像的归一化的灰度共生矩阵，作为灰度共生矩阵特征；将rgb特征、hsv特征以及灰度共生矩阵特征按预定顺序存储至同一数组，得到图像特征。
10.在本发明的一种可选实例中，训练好的液体状态识别模型通过以下方式训练得到：获取与分液过程同种类分液过程的第一预设数量的样本视频，并获取每一视频中不同液体状态对应的图像帧，并利用不同的液体状态对对应的图像帧进行标注，得到第二预设数量的带有液体状态标签样本图像帧；提取每一样本图像帧的图像特征，并将图像帧输入初始的液体状态识别模型中进行训练，得到训练好的液体状态识别模型。
11.在本发明的一种可选实例中，液体状态识别模型为基于随机森林算法的机器学习模型。
12.在本发明的一种可选实例中，预设周期大于训练好的液体状态识别模型对每一图像帧的处理时长。
13.第二方面，本发明提供了一种分液系统，包括：摄像头、液体状态识别模块、光源以及中心控制单元，其中：
摄像头与液体状态识别模块通信连接，用于通过管道的第一视窗拍摄管道内的视频，并将视频发送至液体状态识别模块；光源通过导光罩与管道的第二视窗连接，且第二视窗与第一视窗正对设置，用于为摄像头拍摄提供光线；液体状态识别模块与中心控制单元通信连接，用于第一方面任意一个可选实施例中的方法确定管道内的液体状态，并根据确定出的液体状态向中心控制单元发送对应的控制指令；中心控制单元与管道的各分液阀门通信连接，用于根据接收到的控制指令控制管道上各分液阀门的开闭。
14.在本发明的一种可选实例中，摄像头的镜头处设置有开放式摄像头遮光罩，且第一视窗设置有管道外部遮光罩；或者，摄像头的镜头处设置有封闭式摄像头遮光罩，且摄像头的镜头和第一视窗封闭在封闭式摄像头遮光罩内。
15.在本发明的一种可选实例中，导光罩靠近光源的一侧设置有透气口。
16.第三方面，本发明提供了一种分液中的液体识别装置包括：图像帧抽取模块、预测状态获取模块和液体状态确定模块，其中：图像帧抽取模块，用于从进入分液过程起，开始获取管道内液体的视频，并每间隔预设周期，抽取视频中的图像帧；预测状态获取模块，用于对于每一图像帧，获取该图像帧中待识别区域的图像特征，并将图像特征输入训练好的液体状态识别模型，得到该图像帧对应的预测状态，训练好的液体状态识别模型是通过带有液体状态标签的样本图像帧训练得到；液体状态确定模块，用于基于各图像帧对应的预测状态，确定管道内的液体状态。
17.在本发明的一种可选实例中，液体状态确定模块具体用于：确定从进入分液过程起的第一个图像帧对应的预测状态是否为分液过程的初始液体状态；若是，则从后续的图像帧对应的预测状态为新的液体状态起，累计图像帧对应的预测状态为新的液体状态的数量，直至数量不小于预设阈值，则确定管道内的液体状态为新的液体状态，重复该步骤直至确定管道内的液体状态为分液过程的结束状态。
18.在本发明的一种可选实例中，该装置还包括阈值确定模块，用于：根据管道内液体的流速、以及管道的第一视窗到分液阀门的距离，获取液体从第一视窗到分液阀门所需的时长；将时长与预设周期对应的采样频率的比值向下取整，得到预设阈值。
19.在本发明的一种可选实例中，预测状态获取模块具体用于：将每一图像帧中除待识别区域外的区域作为背景区域，并基于背景区域对待识别区域进行亮度调节；提取亮度调节后的待识别区域的红绿蓝rgb特征、色调饱和度明度hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征。
20.在本发明的一种可选实例中，预测状态获取模块进一步用于：分别获取背景区域和待识别区域的hsv色彩空间；
将待识别区域的hsv色彩空间中v空间的每个像素的像素值，与背景区域的hsv色彩空间中v空间的各像素的平均像素值相减；将相减得到的从hsv色彩空间转换至rgb色彩空间，得到亮度调节后的待识别区域。
21.在本发明的一种可选实例中，预测状态获取模块进一步用于：将亮度调节后的待识别区域的rgb色彩空间中各色彩空间中各像素的平均像素值，作为rgb特征；将亮度调节后的待识别区域转换至hsv色彩空间，并将hsv色彩空间中各色彩空间中各像素的平均像素值，作为hsv特征；将亮度调节后的待识别区域转换成灰度图像，并将该灰度图像的归一化的灰度共生矩阵，作为灰度共生矩阵特征；将rgb特征、hsv特征以及灰度共生矩阵特征按预定顺序存储至同一数组，得到图像特征。
22.在本发明的一种可选实例中，该装置还包括训练模块，用于：获取与分液过程同种类分液过程的第一预设数量的样本视频，并获取每一视频中不同液体状态对应的图像帧，并利用不同的液体状态对对应的图像帧进行标注，得到第二预设数量的带有液体状态标签样本图像帧；提取每一样本图像帧的图像特征，并将图像帧输入初始的液体状态识别模型中进行训练，得到训练好的液体状态识别模型。
23.在本发明的一种可选实例中，液体状态识别模型为基于随机森林算法的机器学习模型。
24.在本发明的一种可选实例中，预设周期大于训练好的液体状态识别模型对每一图像帧的处理时长。
25.第四方面，本发明提供了一种电子设备，包括存储器和处理器；存储器中存储有计算机程序；处理器，用于执行计算机程序以实现第一方面实施例或第一方面任一可选实施例中所提供的方法。
26.第五方面，本发明提供了一种计算机可读存储介质，其特征在于，计算机可读存储介质上存储有计算机程序，计算机程序被处理器执行时实现第一方面实施例或第一方面任一可选实施例中所提供的方法。
27.第六方面，本发明提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行时实现第一方面实例或第一方面任一可选实例中所提供的方法。
28.本发明提供的方案，通过周期性从管道视频中抽取图像帧，并通过训练好的液体状态识别模型获取各图像帧的预测状态，即实现了周期性获取管道内的液体的预测状态，再对各预测状态进行逻辑判断确定出管道内的液体状态。该方法避免了由于液体快速流动造成液体状态暂时发生导致分液时机判断出现偏差的问题，也能够大幅度减少杂质对于分液界面判断的影响。该方案采用机器学习模型参与液体状态预测，机器学习能够分析的图
像特征更丰富，且其得到的结果是直观的液体状态，机器学习算法的鲁棒性也更强，使得分液的准确性和通用性都更好。
附图说明
29.为了更清楚地说明本发明实施例中的技术方案，下面将对本发明实施例描述中所需要使用的附图作简单地介绍。
30.图1为本发明实施例的一个示例中分液系统的整体结构示意图；图2为本发明实施例的一个示例中开放式摄像头遮光罩总体设计示意图；图3本发明实施例的一个示例中封闭式摄像头遮光罩总体设计示意图；图4为本发明实施例提供的一种分液中的液体状态识别方法的流程示意图；图5为本发明实施例的一个示例中液体状态识别的整体流程示意图；图6为本发明实施例的一个示例中环氧树脂生产过程的分液过程的示意图；图7为图6所示的示例中液体状态识别过程中的逻辑判断过程示意图；图8为本发明实施例提供的一种分液中的液体状态识别装置的软件结构框图；图9为本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
31.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能解释为对本发明的限制。
32.本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本发明的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。
33.针对上述问题，本发明提供了一种分液中的液体状态识别方法及分液系统。下面以具体地实施例对本发明的技术方案以及本发明的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本发明的实施例进行描述。
34.图1为本发明分液系统的整体结构一种具体实例的示意图，如图1所示，该系统包括：摄像头101、液体状态识别模块102、光源103以及中心控制单元104。其中：摄像头101与液体状态识别模块102通过视频网络通信连接，用于通过管道的第一视窗拍摄管道内的视频，并将视频发送至液体状态识别模块102。光源103通过导光罩与管道的第二视窗连接，且第二视窗与第一视窗正对设置，用于为摄像头101拍摄提供光线。液体状态识别模块102与中心控制单元104通过通信连接，用于后文描述的分液中的液体状态识别方法确定管道内的液体状态（后文将对液体状态识别过程进行详细描述），并根据确定出的液体状态向中心控制单元104发送对应的控制指令。中心控制单元104与管道的各分液
阀门通信连接，用于根据接收到的控制指令控制管道上各分液阀门的开闭，进而实现分液。
35.其中，摄像头101可以通过以太网且基于tcp协议（或数字输入输出电路组网、5g等通信方式）将拍摄的视频输入液体状态识别模块102。
36.中心控制单元104与液体状态识别模块102可以使用数字输入输出电路（dio）组网通信，中心控制单元104通过do与液体状态识别模块102 的di连接，以使液体状态识别模块102接收中心控制单元104发送的分液启动信号；液体状态识别模块102通过do中心控制单元104的di连接，以使液体状态识别模块102发送确定出的液体状态对应的控制指令至中心控制单元104，中心控制单元104再根据接收到的控制指令控制管道上分液阀门的开启和闭合。
37.在本发明的一种可选实施例中，为了保证拍摄过程光线均衡，可以在分液系统响应部分设置光线均衡优化装置，光线均衡优化装置主要包括摄像头遮光罩和光源的导光罩，其中摄像头遮光罩又可以分为开放式和封闭式两种，具体设置方式如下：如图2所示，摄像头101的镜头处设置有开放式摄像头遮光罩201，且第一视窗202设置有管道外部遮光罩203。
38.具体地，开放式摄像头遮光罩201的遮挡范围需要大于摄像头的视野范围。具体来说，摄像头101安装完成后，测量摄像头101与目标物距离，根据摄像头101厂家提供的摄像头101视野水平和垂直角度参数，可以计算出摄像头101拍摄的目标物的视野范围，进而根据该视野范围确定出开放式摄像头遮光罩201的遮挡范围。开放式摄像头遮光罩201的位置尽量设置在摄像头101视野范围外主要为了避免遮光不完整，确保摄像头101视野的目标物完整淹没在遮光罩的阴影当中。采用了开放式摄像头遮光罩201，则需要为管道的第一视窗设置管道外部遮光罩203。摄像头遮光罩201的遮挡范围要大于摄像头101的事业范围，且需要确保管道内部视野在全天都处于阴影当中。
39.如图3所示，摄像头101的镜头处设置有封闭式摄像头遮光罩204，且摄像头101的镜头和第一视窗202封闭在封闭式摄像头遮光罩204内。
40.具体地，若摄像头101设置的是封闭式，则摄像头101与管道的第一视窗202封闭在封闭式摄像头遮光罩204内。
41.进一步参考图3，光源103和管道的第二视窗205之间还设置有导光罩206。导光罩206需要将光源103与管道的第二视窗205完全包裹。导光罩206上靠近光源103处还可以设置透气口，该透气口用于排出光源产生的热量，避免遮光罩内热量聚集可能产生的意外。由于透气口的口径较小，外部光线进入量不足以影响光源照明效果，所以对整体系统的照明不产生影响。
42.进一步地，上述光线均衡优化装置都可以使用金属或耐高温材料制成。考虑到此类分液系统工作环境多为高温潮湿，尤其分液管道表面容易传到出液体的热量而产生高温，使用金属材料可以避免高温融解。另外，上述光线均衡优化装置的内壁都可以涂覆黑色、磨砂材质的涂层。黑色磨砂涂层能防止光线折射产生的光斑或在摄像头镜头上产生的鬼影。
43.下面将在上述分液系统的基础上，对液体状态识别模块中液体状态识别方案进行详细说明。
44.图4为本发明实施例提供的一种分液中的液体状态识别方法的流程示意图，该方
法的执行主体为图1中的液体状态识别模块，如图4所示，该方法可以包括：步骤s301，从进入分液过程起，开始获取管道内液体的视频，并每间隔预设周期，抽取视频中的图像帧。
45.具体地，从分液系统的分液过程启动开始，摄像头工作并实时将拍摄的视频发送至液体状态识别模块，液体状态识别模块获取到视频后，即每间隔预设周期从视频中抽取图像帧用于液体状态识别。
46.其中，预设周期大于后续训练好的液体状态识别模型对每一图像帧的处理时长，或者进一步来说，预设周期大于每一图像帧从被抽取到得到该图像帧对应的预测状态的时长。举例来说，若上述时长为0.25秒，那么预设周期可以设置为0.3秒，即每间隔0.3秒从视频中抽取一帧图像帧。
47.步骤s302，对于每一图像帧，获取该图像帧中待识别区域的图像特征，并将图像特征输入训练好的液体状态识别模型，得到该图像帧对应的预测状态，训练好的液体状态识别模型是通过带有液体状态标签的样本图像帧训练得到。
48.具体地，在从视频中抽取了图像帧后，根据人工选取的识别区，确定出图像帧中的待识别区域，并进一步获取该待识别区域对应的图像特征。将该图像特征输入训练好的液体状态识别模型，模型会输出对应的预测状态，该预测状态即根据该图像帧预测的液体状态。其中，可以理解的是，训练好的液体状态识别模型的输入为图像帧的待识别区域的图像特征，输出为对应的预测状态。该步骤中直接使用训练好的模型，其训练过程将在后文中进行详细描述。
49.步骤s303，基于各图像帧对应的预测状态，确定管道内的液体状态。
50.具体地，在上一步骤中获取了周期性获取到的图像帧对应的预测状态，但是该预测状态可能存在误判或者干扰，需要对各预测状态进行逻辑判断，以获取更准确的液体状态。具体来说，分液过程存在两个先决条件，其一，液体状态不可逆的先决条件，即当从状态a转为状态b后，下一个转换状态只可能是状态c，而不可能重新回到状态a；其二，液体状态必定按照固定顺序出现并且必须满足一组完整的变化过程，即不会从中间某个状态开始，或中间跳过某个状态，如液体状态出现顺序为a-》b-》c-》d，因此不可能出现b-》c-》d，或a-》c-》d这样的变化状态。那么，可以依据分液过程中的上述先决条件，对期性抽取的图像帧对应的预测状态进行进一步确认，得出管道内的液体状态。
51.综上所述，如图5所示，为本发明实施例中分液中液体状态识别的完整流程示意图，其中增加了液体状态识别模型的训练过程。可以理解的是，不是每次进行液体状态识别都需要进行一次液体状态识别模型的训练，训练得到的液体状态识别模型可以存储之后供多次使用。液体状态识别模型的具体训练过程将在后文中进行详细描述。
52.本发明提供的方案，过周期性从管道视频中抽取图像帧，并通过训练好的液体状态识别模型获取各图像帧的预测状态，即实现了周期性获取管道内的液体的预测状态，再对各预测状态进行逻辑判断确定出管道内的液体状态。该方法避免了由于液体快速流动造成液体状态暂时发生导致分液时机判断出现偏差的问题，也能够大幅度减少杂质对于分液界面判断的影响。该方案采用机器学习模型参与液体状态预测，机器学习能够分析的图像特征更丰富，且其得到的结果是直观的液体状态，机器学习算法的鲁棒性也更强，使得分液的准确性和通用性都更好。
53.在本发明的一种可选实施例中，对于每一图像帧，获取该图像帧中待识别区域的图像特征，包括：将每一图像帧中除待识别区域外的区域作为背景区域，并基于背景区域对待识别区域进行亮度调节；提取亮度调节后的待识别区域的红绿蓝rgb特征、色调饱和度明度hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征。
54.具体地，输入到训练好的液体状态识别模型中的参数为图像帧的待识别区域的图像特征，因此在获取到图像帧后，需要获取该图像帧的待识别区域的图像特征。具体来说，首先通过人工划定待识别区域，即第一视窗对应的区域，并确定出待识别区域外的背景区域，即将图像帧划分为背景区域和待识别区域。然后，利用背景区域对待识别区域进行亮度调节，得到亮度调整后的待识别区域。最后，分别提取亮度调整后的待识别区域的rgb特征、hsv特征以及灰度共生矩阵特征进行组合，即可得到其图像特征。
55.进一步地，基于背景区域对待识别区域进行亮度调节，包括：分别获取背景区域和待识别区域的hsv色彩空间；将待识别区域的hsv色彩空间中v空间的每个像素的像素值，与背景区域的hsv色彩空间中v空间的各像素的平均像素值相减；将相减得到的从hsv色彩空间转换至rgb色彩空间，得到亮度调节后的待识别区域。
56.具体地，本发明实施例主要利用背景区域对待识别区域进行亮度补偿，进而实现待识别区域的亮度调节。由于待识别区域为人工划定，所以不需要对待识别区域进行自动识别、阴影和高亮的补偿。利用待识别区域的亮度减去背景区域的亮度（具体来说，即将待识别区域的hsv色彩空间中v空间的每个像素的像素值，与背景区域的hsv色彩空间中v空间的各像素的平均像素值相减）。采用这种亮度调节方式，可以实现不同亮度环境下待识别区域亮度的标准化。例如，在夜晚，背景区域亮度很低，接近零，待识别区域的亮度减去此亮度值变化小；又例如，在白天，背景区域亮度高，待识别区域相对晚上亮度会较高，待识别区域亮度减去背景区域亮度能够减低待识别识别区域的亮度，实现待识别区域亮度的标准化。
57.进一步地，提取亮度调节后的待识别区域的rgb特征、hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征，包括：将亮度调节后的待识别区域的rgb色彩空间中各色彩空间中各像素的平均像素值，作为rgb特征；将亮度调节后的待识别区域转换至hsv色彩空间，并将hsv色彩空间中各色彩空间中各像素的平均像素值，作为hsv特征；将亮度调节后的待识别区域转换成灰度图像，并将该灰度图像的归一化的灰度共生矩阵，作为灰度共生矩阵特征；将rgb特征、hsv特征以及灰度共生矩阵特征按预定顺序存储至同一数组，得到图像特征。
58.具体地，对亮度调节后的待识别区域进行特征提取可以包括：rgb特征提取：待识别区域的图像提取rgb（红绿蓝）色彩空间，针对每一个色彩空间求此色彩空间像素的平均值，得到待识别区域的三个特征数值；
hsv特征提取：将待识别区域图像转换为hsv（色调，饱和度，亮度）色彩空间，针对每一个色彩空间求此色彩空间像素的平均值，得到待识别区域的三个特征数值；灰度共生矩阵特征提取：将待识别区域图像转化为灰度图像，将灰度图像计算其归一化的灰度共生矩阵，本发明实施例中使用的灰度共生矩阵维度可以为8
×
8，灰度值级数为8；灰度共生矩阵使用图像中一对相邻像素统计共生矩阵，因此像素对可以选择使用水平、垂直、正对角、反对角四种形式，共可以生成四组共生矩阵。基于此，每个共生矩阵可以生成14种特征，共56个特征值，四组不同方向的共生矩阵的14组特征又可以分别通过计算没个特征在四个方向的均值、方差各14个特征；总共84个特征值。那么，将上述特征值组合成数组，可得到90个元素组成的特征值数组，该特征值数组即为对应的图像特征。
59.本发明实施例中液体状态识别基于特征识别和机器学习。基于机器学习算法能够有更好的容忍度，可以接受细微的跳变，并对同类型但表现方式有区别的图片有更好的分类效果。本发明实施例考虑到图像特征的表征，主要采用颜色、亮度、图像材质特征三种图像特征对画面进行分析。颜色用于反映不同液体在光源下的表现形式，亮度用于反映液体的透明程度，图像材质特征用于对不透明液体的粗糙度，纹理走向，纹理各向异性程度，颗粒度等材质特性进行分析和量化，三种特征提取方式能够全方位的将视频液体图像特征进行分析量化，用于机器学习算法进行后续处理。特征提取过程全部采用归一化处理，可以适应不同的监控画面分辨率或不同的识别区域面积，当更换摄像头或更改待识别区域，提取算法完全不需要改变，能完全适应新的识别图像源。本发明实施例使用直接判断液态状态的方式决定分液状态，相比传统使用液面变化的方式容易因为杂质的引入造成误判，对同一液体混入杂质的情况误判率更低。同时使用机器学习的方式能有更好的灵活度，即未来有新的图像类型，只需要对新图像进行特征提取和训练学习，即可生成新模型使用，而不需要重复进行实验调整阈值。
60.在本发明的一种可选实施例中，训练好的液体状态识别模型通过以下方式训练得到：获取与分液过程同种类分液过程的第一预设数量的样本视频，并获取每一视频中不同液体状态对应的图像帧，并利用不同的液体状态对对应的图像帧进行标注，得到第二预设数量的带有液体状态标签样本图像帧；提取每一样本图像帧的图像特征，并将图像帧输入初始的液体状态识别模型中进行训练，得到训练好的液体状态识别模型。
61.具体地，采集第一预设数量的分液过程的样本视频用于训练，先使用人工查看视频，并标注液体状态变化的时刻，进行记录并保存，可以理解的是，这些样本视频记录可以是与要识别的分液过程同种类的分液过程的视频。提取样本视频中的图像帧，并标注图像帧对应的液体状态，及得到带有液体状态标签的样本图像帧。根据前述图像特征提取方法，提取每个样本图像帧的待识别区域的图像特征，然后利用这些样本图像帧对应的图像帧和液体状态标识对初始的液体状态识别模型进行训练，进而得到训练好的液体状态识别模型并保存。
62.本发明实施例中采用基于随机森林算法的液体状态识别模型，实际使用中还可以使用支持向量机，线性判别式，决策树，boost等机器学习算法。随机森林算法的主要优势包括：（1）对处理非线性数据有更优秀的性能；（2）对不同两类型数据量有更好适应度，即不同
类型的训练数据比例区别较大情况有更稳定的分类效果；（3）数据量不足的情况下性能影响很小；（4）训练过程不易发生过拟合。
63.在本发明的一种可选实施例中，基于各图像帧对应的预测状态，确定管道内的液体状态，包括：确定从进入分液过程起的第一个图像帧对应的预测状态是否为分液过程的初始液体状态；若是，则从后续的图像帧对应的预测状态为新的液体状态起，累计图像帧对应的预测状态为新的液体状态的数量，直至数量不小于预设阈值，则确定管道内的液体状态为新的液体状态，重复该步骤直至确定管道内的液体状态为分液过程的结束状态。
64.具体地，由前文描述可知，分液过程存在两个先决条件，需要基于这两个先决条件对液体状态识别模型输出的各图像帧的预测状态进行逻辑判断，才能最终确定出管道内的液体状态。具体来说，该逻辑判断的具体过程如下：（1）系统开始运行，分液过程开始，判断当前预测状态是否与实际状态符合，即判断分液过程开始时图像帧对应的预设状态是否为初始液体状态。若符合，则等待判断预测值是否为下一液体状态（即新的液体状态）；若不符合，先等待预测值与当前状态匹配，匹配后则等待判断预测值是否进入下一状态；（2）若出现预测状态变化，即后续图像帧对应的预测状态为新的液体状态，则累计新的液体状态出现次数，若累积的新的液体状态数量大于预设阈值n，则确定液体进入该新的液体状态，并发送控制指令到中心控制单元以对相应分液阀门进行开关。（3）重复步骤（2）直至分液过程结束。
65.其中，预设阈值n的选取可以参考如下方式进行：首先测定液体在管道中的流速v，第一视窗到分液阀门的长度l，基于此可以计算液体经过第一视窗到分液阀门所需的时间t，即t=l/v；第二，得到时间t后，根据前文抽取图像帧的预设周期对应的实时视频分析采样率e，取n≤floor(t/e)，其中floor（）运算为向下取整。n越小分析灵敏度越高，n越大，灵敏度降低，可以接受可能存在的更多杂质；若液体中杂质含量较高，n建议取较大值，若杂质较少，则n可以使用较小值。
66.下面通过一个具体示例来对本发明的方案进行进一步说明，如图6所示，给出了环氧树脂生产过程的分液过程的示意图，该分液过程需要自动识别的液体状态包括：盐水，中间沉淀物，环氧树脂和管道排空四种状态。其分液过程可以包括以下步骤：1、开始，即分液过程开始；2、监控视频，即通过摄像头获取管道内的液体的视频；3、视觉分析，即根据前文描述的方式，按预设周期抽取图像帧，并利用液体状态识别模块对液体状态进行识别，当确定管道内液体状态发生变化，进入新的液体状态时，向产线的中心控制单元发出控制指令。其中，液体识别模块对液体状态进行识别，确定管道内的液体状态的过程如图7所示，包括：首先，在分液过程开始时，确定预测状态是否为初始的液体状态，即是否为盐水，若是则继续进行后续液体状态的判断，若不是则需要等到其为盐水，则继续进行后续液体状态的判断。在后续液体状态的变化过程依次为中间物、环氧树脂和空管。
67.4、控制，即中心控制单元根据控制指令，向各阀门发送开关指令；其中，阀门1用于分离盐水，阀门2用于分离中间物，阀门3用于分离环氧树脂，其位置如图4所示；
5、阀门开关，即各阀门根据开关指令执行开关动作。重复上述过程直至完成盐水、中间物和环氧树脂的分离，即完成了该生产过程的分液过程。
68.综上所述，与现有技术相比，本发明具有更广的技术通用性：1、对产线改造要求不高，可以使用全封闭形式（完全暗室），或半开放方式，配合软件层面亮度校正，可以酌情选择两种方案中的一种，适合更多类型的生产产线；2、亮度校准方式可以适应更复杂的外部环境；3、液位判断基于液体状态，而非变化状态，配合额外逻辑判断流程可以增加液体内杂质的容忍度；4、特征提取过程使用归一化操作，对不同摄像头画面源、识别区域能自动适应，更换识别产线不需对识别模型进行任何修改；5、使用机器学习方式，比一般阈值判断有更好的鲁棒性，即对液体因反应过程造成的不同状态状态，外部光线环境的影响有更好的适应性，同时对新的反应物通过采集数据进行训练学习即可更新判断模型，避免对判别算法的重新开发。
69.图8为本发明提供的一种分液中的液体识别装置的结构框图，如图8所示，该装置500可以包括：图像帧抽取模块501、预测状态获取模块502和液体状态确定模块503，其中：图像帧抽取模块501用于从进入分液过程起，开始获取管道内液体的视频，并每间隔预设周期，抽取视频中的图像帧；预测状态获取模块502用于对于每一图像帧，获取该图像帧中待识别区域的图像特征，并将图像特征输入训练好的液体状态识别模型，得到该图像帧对应的预测状态，训练好的液体状态识别模型是通过带有液体状态标签的样本图像帧训练得到；液体状态确定模块503用于基于各图像帧对应的预测状态，确定管道内的液体状态。
70.本发明提供的方案，周期性从管道视频中抽取图像帧，并通过训练好的液体状态识别模型获取各图像帧的预测状态，即实现了周期性获取管道内的液体的预测状态，再对各预测状态进行逻辑判断确定出管道内的液体状态。该方法避免了由于液体快速流动造成液体状态暂时发生导致分液时机判断出现偏差的问题，也能够大幅度减少杂质对于分液界面判断的影响。该方案采用机器学习模型参与液体状态预测，机器学习能够分析的图像特征更丰富，且其得到的结果是直观的液体状态，机器学习算法的鲁棒性也更强，使得分液的准确性和通用性都更好。
71.在本发明的一种可选实施例中，液体状态确定模块具体用于：确定从进入分液过程起的第一个图像帧对应的预测状态是否为分液过程的初始液体状态；若是，则从后续的图像帧对应的预测状态为新的液体状态起，累计图像帧对应的预测状态为新的液体状态的数量，直至数量不小于预设阈值，则确定管道内的液体状态为新的液体状态，重复该步骤直至确定管道内的液体状态为分液过程的结束状态。
72.在本发明的一种可选实例中，该装置还包括阈值确定模块，用于：根据管道内液体的流速、以及管道的第一视窗到分液阀门的距离，获取液体从第一视窗到分液阀门所需的时长；将时长与预设周期对应的采样频率的比值向下取整，得到预设阈值。
73.在本发明的一种可选实施例中，预测状态获取模块具体用于：将每一图像帧中除待识别区域外的区域作为背景区域，并基于背景区域对待识别
区域进行亮度调节；提取亮度调节后的待识别区域的红绿蓝rgb特征、色调饱和度明度hsv特征以及灰度共生矩阵特征，并利用rgb特征、hsv特征以及灰度共生矩阵特征组合，得到图像特征。
74.在本发明的一种可选实施例中，预测状态获取模块进一步用于：分别获取背景区域和待识别区域的hsv色彩空间；将待识别区域的hsv色彩空间中v空间的每个像素的像素值，与背景区域的hsv色彩空间中v空间的各像素的平均像素值相减；将相减得到的从hsv色彩空间转换至rgb色彩空间，得到亮度调节后的待识别区域。
75.在本发明的一种可选实施例中，预测状态获取模块进一步用于：将亮度调节后的待识别区域的rgb色彩空间中各色彩空间中各像素的平均像素值，作为rgb特征；将亮度调节后的待识别区域转换至hsv色彩空间，并将hsv色彩空间中各色彩空间中各像素的平均像素值，作为hsv特征；将亮度调节后的待识别区域转换成灰度图像，并将该灰度图像的归一化的灰度共生矩阵，作为灰度共生矩阵特征；将rgb特征、hsv特征以及灰度共生矩阵特征按预定顺序存储至同一数组，得到图像特征。
76.在本发明的一种可选实施例中，该装置还包括训练模块，用于：获取与分液过程同种类分液过程的第一预设数量的样本视频，并获取每一视频中不同液体状态对应的图像帧，并利用不同的液体状态对对应的图像帧进行标注，得到第二预设数量的带有液体状态标签样本图像帧；提取每一样本图像帧的图像特征，并将图像帧输入初始的液体状态识别模型中进行训练，得到训练好的液体状态识别模型。
77.在本发明的一种可选实施例中，液体状态识别模型为基于随机森林算法的机器学习模型。
78.在本发明的一种可选实施例中，预设周期大于训练好的液体状态识别模型对每一图像帧的处理时长。
79.下面参考图9，其示出了适于用来实现本发明实施例的电子设备（例如执行图4所示方法的终端设备或服务器）600的结构示意图。本发明实施例中的电子设备可以包括但不限于诸如移动电话、笔记本电脑、数字广播接收器、pda（个人数字助理）、pad（平板电脑）、pmp（便携式多媒体播放器）、车载终端（例如车载导航终端）、可穿戴设备等等的移动终端以及诸如数字tv、台式计算机等等的固定终端。图9示出的电子设备仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
80.电子设备包括：存储器以及处理器，存储器用于存储执行上述各个方法实施例所述方法的程序；处理器被配置为执行存储器中存储的程序。其中，这里的处理器可以称为下文所述的处理装置601，存储器可以包括下文中的只读存储器（rom）602、随机访问存储器（ram）603以及存储装置608中的至少一项，具体如下所示：如图9所示，电子设备600可以包括处理装置（例如中央处理器、图形处理器等）
601，其可以根据存储在只读存储器（rom）602中的程序或者从存储装置608加载到随机访问存储器（ram）603中的程序而执行各种适当的动作和处理。在ram603中，还存储有电子设备600操作所需的各种程序和数据。处理装置601、rom 602以及ram603通过总线604彼此相连。输入/输出（i/o）接口605也连接至总线604。
81.通常，以下装置可以连接至i/o接口605：包括例如触摸屏、触摸板、键盘、鼠标、摄像头、麦克风、加速度计、陀螺仪等的输入装置606；包括例如液晶显示器（lcd）、扬声器、振动器等的输出装置607；包括例如磁带、硬盘等的存储装置608；以及通信装置609。通信装置609可以允许电子设备600与其他设备进行无线或有线通信以交换数据。虽然图9示出了具有各种装置的电子设备，但是应理解的是，并不要求实施或具备所有示出的装置。可以替代地实施或具备更多或更少的装置。
82.特别地，根据本发明的实施例，上文参考流程图描述的过程可以被实现为计算机软件程序。例如，本发明的实施例包括一种计算机程序产品，其包括承载在非暂态计算机可读介质上的计算机程序，该计算机程序包含用于执行流程图所示的方法的程序代码。在这样的实施例中，该计算机程序可以通过通信装置609从网络上被下载和安装，或者从存储装置608被安装，或者从rom 602被安装。在该计算机程序被处理装置601执行时，执行本发明实施例的方法中限定的上述功能。
83.需要说明的是，本发明上述的计算机可读存储介质可以是计算机可读信号介质或者计算机可读存储介质或者是上述两者的任意组合。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器（ram）、只读存储器（rom）、可擦式可编程只读存储器（eprom或闪存）、光纤、便携式紧凑磁盘只读存储器（cd-rom）、光存储器件、磁存储器件、或者上述的任意合适的组合。在本发明中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。而在本发明中，计算机可读信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读信号介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括但不限于：电线、光缆、rf（射频）等等，或者上述的任意合适的组合。
84.在一些实施方式中，客户端、服务器可以利用诸如http（hypertext transfer protocol，超文本传输协议）之类的任何当前已知或未来研发的网络协议进行通信，并且可以与任意形式或介质的数字数据通信（例如，通信网络）互连。通信网络的示例包括局域网（“lan”），广域网（“wan”），网际网（例如，互联网）以及端对端网络（例如，ad hoc端对端网络），以及任何当前已知或未来研发的网络。
85.上述计算机可读介质可以是上述电子设备中所包含的；也可以是单独存在，而未装配入该电子设备中。
86.上述计算机可读介质承载有一个或者多个程序，当上述一个或者多个程序被该电
子设备执行时，使得该电子设备：从进入分液过程起，开始获取管道内液体的视频，并每间隔预设周期，抽取所述视频中的图像帧；对于每一图像帧，获取该图像帧中待识别区域的图像特征，并将所述图像特征输入训练好的液体状态识别模型，得到该图像帧对应的预测状态，所述训练好的液体状态识别模型是通过带有液体状态标签的样本图像帧训练得到；基于各图像帧对应的预测状态，确定所述管道内的液体状态。
87.可以以一种或多种程序设计语言或其组合来编写用于执行本发明的操作的计算机程序代码，上述程序设计语言包括但不限于面向对象的程序设计语言—诸如java、smalltalk、c ，还包括常规的过程式程序设计语言—诸如“c”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(lan)或广域网(wan)—连接到用户计算机，或者，可以连接到外部计算机（例如利用因特网服务提供商来通过因特网连接）。
88.附图中的流程图和框图，图示了按照本发明各种实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段、或代码的一部分，该模块、程序段、或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个接连地表示的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或操作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
89.描述于本发明实施例中所涉及到的模块或单元可以通过软件的方式实现，也可以通过硬件的方式来实现。其中，模块或单元的名称在某种情况下并不构成对该单元本身的限定，例如，图像帧抽取模块还可以被描述为“抽取图像帧的模块”。
90.本文中以上描述的功能可以至少部分地由一个或多个硬件逻辑部件来执行。例如，非限制性地，可以使用的示范类型的硬件逻辑部件包括：现场可编程门阵列（fpga）、专用集成电路（asic）、专用标准产品（assp）、片上系统（soc）、复杂可编程逻辑设备（cpld）等等。
91.在本发明的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器（ram）、只读存储器（rom）、可擦除可编程只读存储器（eprom或快闪存储器）、光纤、便捷式紧凑盘只读存储器（cd-rom）、光学储存设备、磁储存设备、或上述内容的任何合适组合。
92.所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的计算
机可读介质被电子设备执行时实现的具体方法，可以参考前述方法实施例中的对应过程，在此不再赘述。
93.应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。
94.以上所述仅是本发明的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。