数据同步方法及系统与流程

1.本发明涉及数据同步领域，具体涉及一种数据同步方法及系统。


背景技术：

2.在客户端开发的时候，开发者为了能够方便的测试数据而不影响用户的使用，往往会部署多个数据库，这些数据库的数据需要定时或者开发者进行手动同步。在进行数据同步的时候，需要使用如http的网络协议进行传输，但协议通常有一定的传输限制，数据库同步时数据量过大会超过协议的传输限制，从而导致传输失败，数据传输效率较差，数据同步稳定性差。


技术实现要素：

3.本发明的目的是提供一种数据同步方法及系统，在数据库同步数据量过大的情况下极大地提高了数据传输的效率以及数据同步的稳定性。
4.本发明采取如下技术方案实现上述目的，数据同步方法，包括：
5.步骤1、设置查询参数，通过查询参数在数据库中查询出对应数据；
6.步骤2、将查询出的对应数据整理为json格式的数据；
7.步骤3、设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待初始化；
8.步骤4、初始化后由数据流发送缓冲区通过接口传输的方式将数据传输给接收方；
9.步骤5、设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；
10.步骤6、根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。
11.进一步的是，步骤1中，所述查询参数的数量为多个。
12.进一步的是，步骤4中，所述接口为http接口。
13.进一步的是，通过http接口传输数据的方式具体包括：
14.步骤301、创建httpclient对象，通过httpclient对象实例设置请求参数和请求地址；
15.步骤302、通过执行请求将请求参数以及请求地址转发到指定的客户端地址；
16.步骤303、客户端再通过实例中相对应的方法获取请求参数以及请求地址中的具体数据；
17.步骤304、客户端根据请求参数以及请求地址中的具体数据解析并获取数据。
18.数据同步系统，用于执行上述所述的数据同步方法，包括：
19.数据获取模块，用于设置查询参数，通过查询参数在数据库中查询出对应数据；
20.数据发送处理模块，用于将查询出的对应数据整理为json格式的数据，并设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待数据发送；
21.初始化模块，用于初始化后由数据流发送缓冲区通过接口传输的方式将数据传输
给接收方；
22.数据接收处理模块，设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；
23.同步模块，用于根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。
24.本发明设置数据流发送缓冲区，将需要发送的数据添加到数据流缓冲区，由缓冲区发送数据，设置一个数据流接收缓冲区，接收时，也由缓冲区接收数据；最后根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中，有效解决数据库同步数据时可能出现的传输数据量超过传输协议限制的问题，让使用者可以一次性选择更多需要的数据进行同步，提高同步效率的同时也提高了数据同步的稳定性。
附图说明
25.图1为本发明数据同步的方法流程图。
26.图2为本发明使用http接口传输数据的流程图。
具体实施方式
27.本发明数据同步方法，包括：
28.步骤1、设置查询参数，通过查询参数在数据库中查询出对应数据；
29.步骤2、将查询出的对应数据整理为json格式的数据；
30.步骤3、设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待初始化；
31.步骤4、初始化后由数据流发送缓冲区通过接口传输的方式将数据传输给接收方；
32.步骤5、设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；
33.步骤6、根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。
34.步骤1中，所述查询参数的数量为多个。
35.步骤4中，所述接口为http接口。
36.通过http接口传输数据的方式具体包括：
37.步骤301、创建httpclient对象，通过httpclient对象实例设置请求参数和请求地址；
38.步骤302、通过执行请求将请求参数以及请求地址转发到指定的客户端地址；
39.步骤303、客户端再通过实例中相对应的方法获取请求参数以及请求地址中的具体数据；
40.步骤304、客户端根据请求参数以及请求地址中的具体数据解析并获取数据。
41.数据同步系统，用于执行上述所述的数据同步方法，包括：
42.数据获取模块，用于设置查询参数，通过查询参数在数据库中查询出对应数据；
43.数据发送处理模块，用于将查询出的对应数据整理为json格式的数据，并设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待数据发送；
44.初始化模块，用于初始化后由数据流发送缓冲区通过接口传输的方式将数据传输
给接收方；
45.数据接收处理模块，设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；
46.同步模块，用于根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。
47.图1为本发明数据同步的方法流程图，如图所示：首先根据选择的参数查询数据，然后将数据转换为json格式，再通过输入缓冲流将数据存入输出缓冲区；接收数据后，将数据存入输入缓冲区，输出缓冲区与输入缓冲区之间通过http协议传输；然后将输入缓冲区的数据以输出缓冲流的形式输入，并将数据转换为要求的格式，完成数据库的同步功能。
48.图2为本发明使用http接口传输数据的流程图，如图所示：
49.首先创建httpclient对象，再通过httpclient对象实例设置请求参数和请求地址，通过执行请求将请求参数以及请求地址转发到指定的客户端地址，客户端再通过实例中相对应的方法获取设置的参数中的具体数据，客户端根据请求参数以及请求地址中的具体数据解析并获取数据，从而实现数据的同步。
50.本发明使用io流作为数据传输的方式，实现数据库之间数据同步的功能，解决了数据库同步时数据量超过http传输大小限制的问题；具体传输方式通过创建httpclient对象，实现在接口内完成对其他接口的访问，并将信息作为参数传到接收的接口地址的方式，实现解决不同环境之间数据不一致的问题。
51.综上所述，本发明有效解决数据库同步数据时可能出现的传输数据量超过传输协议限制的问题，让使用者可以一次性选择更多需要的数据进行同步，提高同步效率的同时也提高了数据同步的稳定性。


技术特征：
1.数据同步方法，其特征在于，包括：步骤1、设置查询参数，通过查询参数在数据库中查询出对应数据；步骤2、将查询出的对应数据整理为json格式的数据；步骤3、设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待初始化；步骤4、初始化后由数据流发送缓冲区通过接口传输的方式将数据传输给接收方；步骤5、设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；步骤6、根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。2.根据权利要求1所述的数据同步方法，其特征在于，步骤1中，所述查询参数的数量为多个。3.根据权利要求1所述的数据同步方法，其特征在于，步骤4中，所述接口为http接口。4.根据权利要求3所述的数据同步方法，其特征在于，通过http接口传输数据的方式具体包括：步骤301、创建httpclient对象，通过httpclient对象实例设置请求参数和请求地址；步骤302、通过执行请求将请求参数以及请求地址转发到指定的客户端地址；步骤303、客户端再通过实例中相对应的方法获取请求参数以及请求地址中的具体数据；步骤304、客户端根据请求参数以及请求地址中的具体数据解析并获取数据。5.数据同步系统，用于执行权利要求1-4任意一项所述的数据同步方法，其特征在于，包括：数据获取模块，用于设置查询参数，通过查询参数在数据库中查询出对应数据；数据发送处理模块，用于将查询出的对应数据整理为json格式的数据，并设置一个数据流发送缓冲区，并将json格式的数据添加到数据流缓冲区，等待数据发送；初始化模块，用于初始化后由数据流发送缓冲区通过接口传输的方式将数据传输给接收方；数据接收处理模块，设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；同步模块，用于根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。

技术总结
本发明涉及数据同步领域，具体涉及一种数据同步方法及系统，在数据库同步数据量过大的情况下极大地提高了数据传输的效率以及数据同步的稳定性。本发明数据同步方法，包括：设置查询参数，通过查询参数在数据库中查询出对应数据，并将查询出的对应数据整理为JSON格式的数据；设置一个数据流发送缓冲区，并将JSON格式的数据添加到数据流缓冲区，等待初始化；初始化后由数据流发送缓冲区通过接口传输的方式将数据传输给接收方；设置一个数据流接收缓冲区，并将接收到的数据放入数据流接收缓冲区；根据同步数据库更新方法将数据流接收缓冲区的数据转换为对应格式后更新到同步数据库中。本发明适用于数据量过大时的数据同步。本发明适用于数据量过大时的数据同步。本发明适用于数据量过大时的数据同步。


技术研发人员：李俊明
受保护的技术使用者：四川长虹电器股份有限公司
技术研发日：2021.10.21
技术公布日：2022/1/6