本发明涉及计算机，尤其涉及一种超并发数据实时处理方法。
背景技术：
1、随着大数据时代的到来，人们在经济、科研、生活等各个领域不断交叉融合，催生了海量数据，一旦超并发数据请求量较大，短时间内造成响应不及时或者系统来不及处理导致请求丢失，对服务器产生巨大压力，影响业务和服务的正常运行。
2、我国专利申请号：cn202111119063，公开日：2021.12.14，公开了一种解决交易数据高并发的处理系统及方法，主要包括：外部交易数据进行提交，系统对于提交的交易数据进行获取；对于获取的交易数据进行处理，包括对于数据进行整合、将无用交易数据剔除、对于交易数据分类、对于交易数据保存与对于一些缓存数据进行处理；进行数据缓冲处理过程中，先对缓存数据进行监测，建立数据接收线程，缓存数据与数据接收线程相互交互，对于一些无用的缓冲数据提取，进行快速清理；将处理后的数据输出至负载均衡服务器内；负载均衡服务器根据预先配置好的ip映射关系和调度算法将交易数据请求分发到相应的消息队列服务器；通过对应的服务器对于交易数据进行分发，分别进行处理，对于处理后的交易数据进行二次存储；对于处理后的交易数据进行统计；对于交易数据的安全性进行监测；将交易数据进行反馈至客户端。
3、但本申请发明人在实现本申请实施例中发明技术方案的过程中，发现上述技术至少存在如下技术问题：超并发数据在处理过程中的数据丢失、任务处理实时性差、系统运行不平稳、数据传输效率和资源利用率低。
技术实现思路
1、本发明通过提供一种超并发数据实时处理方法，解决了现有技术中超并发数据在处理过程中的数据丢失、任务处理实时性差、系统运行不平稳、数据传输效率和资源利用率低的问题，解决了数据量庞大的数据运行系统的超并发数据实时处理问题，使用分布式架构、多线程技术，请求转发毫秒级响应，提高超并发数据的实时处理效率。
2、本发明提供了一种超并发数据实时处理方法，具体包括以下技术方案：
3、一种超并发数据实时处理方法，包括以下步骤：
4、s1.设立边缘网关服务器和主服务器，对服务器的缓存区进行划分，实时调整各缓存分区的状态，建立数据清理线程进行数据清理，创建数据处理任务并分配任务管理进程，实时调整任务优先级；
5、s2.在线程执行任务时设立分布式锁降低不同线程对同一任务的冲突，计算各服务器的负载信息并进行均衡分配，提高超并发数据的处理效率。
6、在服务器集群中的每个服务器上都设置一个定时任务，定期收集各服务器的资源利用情况，所述资源利用情况包括：cpu占用率、内存占用率、i/o利用率和带宽利用率。根据资源利用情况计算各服务器的负载信息，根据各服务器的负载信息进行均衡分配。
7、进一步，所述步骤s1包括：
8、遍历访问各缓存分区，实时监测各缓存分区的状态，所述缓存分区的状态包括空闲、正在写入和已满。将已满的缓存分区设置为锁定状态，无法写入；向空闲状态的缓存分区写入数据，并判断数据是否写入成功。为写入缓存分区的数据设置基于各自缓存分区的标签，所述标签为通过各缓存分区的私钥加密而成的公钥，通过哈希表可以查询不同数据所属缓存分区。
9、进一步，所述步骤s1包括：
10、在对缓存分区的数据进行处理之前，先建立数据清理线程，缓存分区数据与数据清理线程相互交互，清理无用的数据。数据清理过程具体如下：
11、将每个缓存分区按照写入数据的不同划分为多个缓存段，按顺序将待缓存数据写入每个缓存段中，数据清理线程在对缓存短中的数据进行清理时，将当前缓存段设置为锁定状态，等待数据清理完成后再释放，保证所有的缓存数据能够及时高效地并行处理，且不会造成数据丢失。
12、进一步，所述步骤s2包括：
13、根据任务对时延容忍度为任务划分优先级，容忍度越低的任务优先级越高。在各服务器的缓存区中根据各个任务的优先级赋予各个任务管理进程不同的端口号，从而建立任务优先级与端口的映射关系。根据任务优先级顺序执行相应的任务管理进程，当有新的任务进入线程池时，需要对任务优先级顺序进行更新，所述任务优先级顺序的更新方法具体如下：
14、设立初始时间戳，统计当前任务管理进程内各子任务的预期执行时间戳，根据预期执行时间戳设立对比时间；将线程池内所有子任务根据等待时间的长短进行排序，等待时间长的子任务优先级高，计算子任务的优先级，每当有新的任务进入线程池时，需要对任务优先级进行迭代重新。
15、进一步，所述步骤s2包括：
16、当多个线程同时访问同一子任务的消息队列时，采用分段式锁队列的数据结构，即将整个消息队列分段，根据不同线程的需求只对消息队列中的对应的元素进行加锁，不对整个消息队列和其他无关段的元素进行加锁，访问完立刻释放锁。
17、进一步，所述步骤s2包括：
18、在服务器集群中的每个服务器上都设置一个定时任务，定期收集各服务器的资源利用情况，所述资源利用情况包括：cpu占用率、内存占用率、i/o利用率和带宽利用率。根据资源利用情况计算各服务器的负载信息，根据各服务器的负载信息进行均衡分配。
19、本发明至少具有如下技术效果或优点：
20、1、本发明能够接收并处理超并发实时交易数据，运行稳定可靠，很好地解决了大量数据实时接收、实时处理的难题，同时还设置有数据清理功能，保证所有的缓存数据能够及时高效地并行处理，且不会造成数据丢失，设立任务优先级，满足任务的实时性处理需求，保证了任务涌入后系统的运行平稳性。
21、2、采用多线程技术进行数据处理，能够同时处理海量数据并且实时性较强，可以及时发现异常数据，考虑服务器的负载管理和调度，提高数据在各服务器之间的传输效率和并发能力，最大化系统的资源利用率。
22、3、本发明的技术方案能够有效解决现有技术中超并发数据在处理过程中的数据丢失、任务处理实时性差、系统运行不平稳、数据传输效率和资源利用率低的问题，并且，上述系统或方法经过了一系列的效果调研，通过验证，最终能够解决数据量庞大的数据运行系统的超并发数据实时处理问题，使用分布式架构、多线程技术，请求转发毫秒级响应，提高超并发数据的实时处理效率。
1.一种超并发数据实时处理方法，其特征在于，包括以下步骤：
2.如权利要求1所述的一种超并发数据实时处理方法，其特征在于，所述步骤s1包括：
3.如权利要求1所述的一种超并发数据实时处理方法，其特征在于，所述步骤s1包括：
4.如权利要求1所述的一种超并发数据实时处理方法，其特征在于，所述步骤s2包括：
5.如权利要求1所述的一种超并发数据实时处理方法，其特征在于，所述步骤s2包括：
6.如权利要求1所述的一种超并发数据实时处理方法，其特征在于，所述步骤s2包括：
