面向数据可视化大屏的非侵入式数据实时更新方法、装置与流程

专利检索2026-02-26  3


本申请涉及数据可视化,特别是涉及一种面向数据可视化大屏的非侵入式数据实时更新方法、装置。


背景技术:

1、数据可视化,是关于数据视觉表现形式的科学技术研究,是一个处于不断演变之中的概念,主要指技术上较为高级的技术方法,而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面,通过表达、建模以及对立体、表面、属性以及动画的显示,对数据加以可视化解释。

2、数据可视化技术以其直观易懂、简单高效展示数据的特性已经应用于各行各业,通过采用丰富的图形图表组件,降低了信息的复杂度,让人们更易理解分析数据,便于发现数据的规律;对于企业管理人员而言,通过采用数据可视化技术,可快速掌握业务情况。

3、然而,在传统数据可视化开发过程中仍然存在下列问题:

4、1、数据可视化图形、图表显示的数据,具有一定的滞后性,对于实时性要求更高的应用场景存在数据不准确的情况;

5、2、传统数据统计方案大多基于数据埋点的方式,需要在目标业务系统植入相关统计代码,对业务系统的可维护性与系统复杂度造成一定的影响。


技术实现思路

1、基于此,有必要针对上述技术问题,提供一种面向数据可视化大屏的非侵入式数据实时更新方法、装置、系统、服务器和存储介质。

2、一方面,本发明实施例提供一种面向数据可视化大屏的非侵入式数据实时更新方法,所述方法包括:获取数据订阅中间件推送的数据变更消息;所述数据订阅中间件被配置为是数据仓库的slave服务器,用以实时订阅所述数据仓库中更新的数据;所述数据仓库用于同步对应配置的至少一个业务系统数据库中的数据;根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据;将所述待展示数据推送至数据可视化大屏,以对所述数据可视化大屏中所述预设展示指标的当前展示内容进行更新。

3、在其中一个实施例中,所述根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据的步骤之后,所述方法还包括:将所述待展示数据存入对应配置的redis内存数据库中。

4、在其中一个实施例中,所述方法还包括:向所述数据仓库发布定时存储任务;所述定时存储任务用于将所述redis内存数据库中的数据同步至所述数据仓库中进行持久化存储;当检测到所述redis内存数据库中的数据丢失,从所述数据仓库中读取已丢失数据对应的持久化存储结果,用以恢复所述redis内存数据库中丢失的数据。

5、在其中一个实施例中,所述数据仓库用于将针对所述至少一个业务系统数据库中的表数据或表结构的变更操作写入binlog文件中;所述数据订阅中间件用于在接收到所述数据仓库中的binlog文件后,将所述binlog文件复制至中继日志,并通过读取所述中继日志中的事件,获取所述变更操作的类型、内容,以生成对应的数据变更消息。

6、在其中一个实施例中,所述数据变更消息中携带有所述变更操作的类型、内容;所述根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据的步骤,包括:识别所述数据变更消息中的所述变更操作的类型、内容;根据所述变更操作的类型、内容,确定对应配置的至少一个预设展示指标;分别获取至少一个所述预设展示指标的历史统计数据,并根据所述变更操作的类型、内容以及所述历史统计数据,分析计算得到至少一个所述预设展示指标的待展示数据。

7、在其中一个实施例中,所述将所述待展示数据推送至数据可视化大屏的步骤,包括:基于服务器推送技术,将所述待展示数据推送至数据可视化大屏;所述服务器推送技术为websocket技术或sse技术。

8、另一方面,本发明实施例提供一种面向数据可视化大屏的非侵入式数据实时更新装置,所述装置包括:消息获取模块,用于获取数据订阅中间件推送的数据变更消息;所述数据订阅中间件被配置为是数据仓库的slave服务器,用以实时订阅所述数据仓库中更新的数据;所述数据仓库用于同步对应配置的至少一个业务系统数据库中的数据;数据确定模块,用于根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据;数据推送模块,用于将所述待展示数据推送至数据可视化大屏,以对所述数据可视化大屏中所述预设展示指标的当前展示内容进行更新。

9、再一方面,本发明实施例提供一种面向数据可视化大屏的非侵入式数据实时更新系统,其特征在于,所述系统包括至少一个业务系统数据库、数据仓库、数据订阅中间件、数据网关及其redis内存数据库,以及数据可视化大屏;所述数据仓库,用于同步对应配置的至少一个业务系统数据库中的数据;所述数据订阅中间件,被配置为是数据仓库的slave服务器,用以实时订阅所述数据仓库中更新的数据,生成数据变更消息;所述数据网关,用于获取所述数据订阅中间件推送的所述数据变更消息;根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据;将所述待展示数据推送至所述数据可视化大屏;所述数据可视化大屏,用于根据所述待展示数据,对所述预设展示指标的当前展示内容进行更新。

10、再一方面,本发明实施例提供一种服务器,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现一种面向数据可视化大屏的非侵入式数据实时更新方法的步骤。

11、再一方面,本发明实施例提供一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现一种面向数据可视化大屏的非侵入式数据实时更新方法的步骤。

12、上述技术方案中的一个技术方案具有如下优点或有益效果:通过将数据仓库配置为用于同步至少一个业务系统数据库中的数据,且将数据订阅中间件配置为是数据仓库的slave服务器,用以实时订阅数据仓库中更新的数据,即采用监听数据库数据变动的方式进行数据采集,摒弃了传统数据埋点的方式,对业务系统的业务代码不侵入,进而不影响业务系统的复杂度,数据采集方式更纯粹,降低了可持续开发成本;通过设置数据仓库、数据订阅中间件、数据网关以及数据可视化大屏这一系统交互架构,一方面便于数据可视化大屏实现毫秒级数据更新,即使对实时性要求较高的应用场景,也能够保证展示数据的准确性;另一方面,当针对新的预设展示指标进行可视化开发时,该系统框架可使其变得更加容易、简单,同时可降低开发投入成本,对原有的预设展示指标也不会产生干扰。



技术特征:

1.一种面向数据可视化大屏的非侵入式数据实时更新方法,其特征在于,所述方法包括:

2.根据权利要求1所述的方法,其特征在于,所述根据所述数据变更消息,确定对应配置的预设展示指标的待展示数据的步骤之后,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述方法还包括:

4.根据权利要求1至3任意一项所述的方法,其特征在于,所述数据仓库用于将针对所述至少一个业务系统数据库中的表数据或表结构的变更操作写入binlog文件中;

5.根据权利要求4所述的方法,其特征在于,所述数据变更消息中携带有所述变更操作的类型、内容;

6.根据权利要求1至3任意一项所述的方法,其特征在于,所述将所述待展示数据推送至数据可视化大屏的步骤,包括:

7.一种面向数据可视化大屏的非侵入式数据实时更新装置,其特征在于,所述装置包括:

8.一种面向数据可视化大屏的非侵入式数据实时更新系统,其特征在于,所述系统包括至少一个业务系统数据库、数据仓库、数据订阅中间件、数据网关及其redis内存数据库,以及数据可视化大屏;

9.一种服务器,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至6中任一项所述方法的步骤。

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至6中任一项所述的方法的步骤。


技术总结
本申请涉及一种面向数据可视化大屏的非侵入式数据实时更新方法、装置。所述方法包括:获取数据订阅中间件推送的数据变更消息;数据订阅中间件被配置为是数据仓库的Slave服务器,用以实时订阅数据仓库中更新的数据;数据仓库用于同步对应配置的业务系统数据库中的数据;根据数据变更消息,确定对应配置的预设展示指标的待展示数据;将待展示数据推送至数据可视化大屏,以对数据可视化大屏中预设展示指标的当前展示内容进行更新。采用本方法能够实时监听业务系统数据库表数据变动从而实时获取最新变动的数据,对业务系统的业务代码不侵入;通过设置上述系统交互架构,便于数据可视化大屏实现毫秒级数据更新,便于数据可视化开发,且开发成本降低。

技术研发人员:张浦,李林
受保护的技术使用者:重庆数子引力网络科技有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1161783.html

最新回复(0)