视频编码方法、装置、电子设备和存储介质与流程

1.本公开涉及云计算领域，尤其涉及视频编码技术，具体涉及一种视频编码方法、装置、电子设备和存储介质。


背景技术：

2.视频图像数据量比较大，通常需要对其进行压缩，压缩后的数据称之为视频码流，视频码流通过有线或者无线网络传输至用户端，再进行解码观看。
3.视频帧压缩后的大小与编码器在编码过程中选择的参数相关，其中，量化参数(quantization parameter，qp)用于控制有损量化处理过程中损失数据量的大小。通常量化参数越小画面越清晰，量化参数越大画面越模糊。


技术实现要素：

4.本公开提供了一种视频编码方法、装置、电子设备和存储介质。
5.根据本公开的一方面，提供了一种视频编码方法，包括：
6.获取编码器在历史时间段的实际编码数据量和编码帧数；
7.根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量；
8.对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
9.根据本公开的另一方面，提供了一种视频编码装置，包括：
10.历史编码数据获取模块，用于获取编码器在历史时间段的实际编码数据量和编码帧数；
11.期望编码数据计算模块，用于根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量；
12.量化参数调整模块，用于对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
13.根据本公开的另一方面，提供了一种电子设备，包括：
14.至少一个处理器；以及
15.与至少一个处理器通信连接的存储器；其中，
16.存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行本公开任一实施例的视频编码方法。
17.根据本公开的另一方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，计算机指令用于使计算机执行本公开任一实施例的视频编码方法。
18.根据本公开的另一方面，提供了一种计算机程序产品，包括计算机程序，计算机程序在被处理器执行时实现本公开任一实施例的视频编码方法。
19.本公开实施例可以提高视频编码所需的流量的稳定性。
20.应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特
征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
21.附图用于更好地理解本方案，不构成对本公开的限定。其中：
22.图1是根据本公开实施例的一种视频编码方法的示意图；
23.图2是根据本公开实施例的一种视频编码方法的示意图；
24.图3是根据本公开实施例的一种视频编码方法的示意图；
25.图4是根据本公开实施例的一种处理器和编码器的信令图；
26.图5是根据本公开实施例的一种视频编码装置的示意图；
27.图6是用来实现本公开实施例的视频编码方法的电子设备的框图。
具体实施方式
28.以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
29.图1是根据本公开实施例公开的一种视频编码方法的流程图，本实施例可以适用于在视频编码过程中不断对编码器的量化参数进行调整的情况。本实施例方法可以由视频编码装置来执行，该装置可采用软件和/或硬件的方式实现，并具体配置于具有一定数据运算能力的电子设备中，该电子设备可以是客户端设备或服务器设备，客户端设备例如手机、平板电脑、车载终端和台式电脑等。
30.s101，获取编码器在历史时间段的实际编码数据量和编码帧数。
31.视频可以由一系列视频帧组成，通过编码器对视频进行编码，在编码过程中，通常是从连续视频帧的首个视频帧按照时间顺序连续向后编码。其中，可以预先为编码器配置预设的固定编码参数，并采用该固定编码参数对首个视频帧进行编码，针对首个视频帧之后的视频帧可以根据本公开实施例提供的视频编码方法得到调整后的量化参数，进行编码。当前编码的视频帧为首个视频帧之后的视频帧。
32.历史时间段是指在对当前编码的视频帧进行编码之前的时间段，可以是首个视频帧的编码时刻到当前时刻之间的时间段，还可以是前述时间段的子时间段，即从首个视频帧到当前编码的视频帧中任意两个视频帧的编码时刻之间的时间段。实际编码数据量可以是指在历史时间段内编码器编码完成的平均一个视频帧的数据量。数据量是指一个视频帧包括的字节数。编码帧数是指，编码完成的视频帧的数量。
33.此外，可以周期性调整量化参数，例如，周期时长为50ms，历史时间段为当前时刻前50ms的时间段。
34.s102，根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量。
35.编码器的码率用于表示编码器的二进制位速率，表示单位时间内进行视频编码的比特(bit)数量。期望编码数据量是指在历史时间段内编码器以该码率进行编码，编码完成的平均一个视频帧的数据量。根据码率和历史时间段的时长，可以计算出编码器以该码率在历史时间段内的编码得到的比特数量。根据编码帧数与码率，可以计算编码器以该码率
在历史时间段内编码得到的平均一个视频帧的数据量，并确定为期望编码数据量。
36.s103，对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
37.实际编码数据量是指编码器实际编码的一个视频帧的数据量，期望编码数据量是指编码器以预设码率进行编码，期望编码的一个视频帧的数据量。量化参数用于控制编码的视频帧的数据量。实际上，期望编码数据量代表码率恒定的量化参数，实际编码数据量代表编码器当前的量化参数。比较结果用于确定码率恒定的量化参数与当前的量化参数之间的差异。
38.由于视频在不同时刻的复杂程度或丰富程度不同，引起视频帧的数据量发生变化，例如，视频为游戏视频，游戏视频展现出的图像的复杂度和丰富度会随着时间发生变化，游戏视频从沙漠风景切换到城市风景，视频帧的数据量从小变大。由于视频帧的数据量发生变化，尤其是视频帧的数据量变得很大，编码器会改变码率以适应对大数据量的视频帧的编码。而在本公开实施例中，应用于保持码率恒定的应用场景中，从而需要对编码器的编码的一个视频帧的数据量进行控制。
39.调整编码器的量化参数，并采用调整后的量化参数进行编码，以使实际编码数据量趋近于期望编码数据量，保持码率的恒定，从而保持带宽和流量的恒定。
40.现有技术中，视频中前后的视频帧的复杂程度或丰富程度不同，使得不同视频帧的像素点不同，尤其是编码器对复杂视频帧或者色彩丰富的视频帧进行编码，导致码率增大，进而导致占用更多的带宽资源，以及需要消耗更多的流量。
41.根据本公开的技术方案，通过历史时间段的编码器的实际编码数据量、编码帧数和码率，对编码器的量化参数进行调整，以对视频帧的编码数据量进行控制，实现保持编码数据量恒定和码率的恒定，提高视频编码所占用的带宽的稳定性以及提高视频编码的流量稳定性，而且在编码过程中实时对量化参数进行调整，可以提高视频编码的稳定性，降低人工成本，以及提高恒定码率的控制效率。
42.图2是根据本公开实施例公开的另一种视频编码方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，具体化为：计算实际编码数据量和期望编码数据量之间的差值，并确定调整数值；根据实际编码数据量和期望编码数据量的数值比较关系，确定调整数值的符号；根据调整数值和调整数值的符号，调整编码器的量化参数。
43.s201，获取编码器在历史时间段的实际编码数据量和编码帧数。
44.s202，根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量。
45.s203，计算实际编码数据量和期望编码数据量之间的差值，并确定调整数值。
46.实际编码数据量和期望编码数据量之间的差值，表示编码时，一个视频帧的实际数据量与期望数据量之间的差异程度。调整数值是指量化参数的属性数值的调整量。而差异程度实际与量化参数的数值存在映射关系。将差值映射为量化参数的数值上，可以确定为量化参数的调整数值。
47.可选的，确定调整数值，包括：计算差值与期望编码数据量之间的第一比值；计算第一比值与预设标准除数的第二比值并取整，得到目标整数；根据目标整数，确定调整数
值。
48.第一比值，是指差值在期望编码数据量的占比。差值除以期望编码数据量，用于对不同历史时间段计算得到的差值进行归一化处理。标准除数用于修正调整数值，以提高调整数值的容错性。第二比值用于将标准除数确定范围内的第一比值，认为是相同的第一比值。取整可以是向下取整。通常，实际编码数据量和期望编码数据量的差值较小，认为实际编码得到的视频帧的数据量使得码率的变化微小，可以理解为此时码率恒定。从而，配置标准除数可以针对引起码率变化微小的实际编码数据量，不进行量化参数调整。并且，期望编码数据量和实际编码数据量是统计得到均值，存在计算误差，将第一比值除以标准除数并对商取整，将相近的第一比值对应同一个调整数值，也即将相近的差值对应同一个调整数值，可以对误差进行修正，提高计算调整数值的系统的容错性。
49.目标整数用于确定调整数值，例如，可以将目标整数确定为调整数值。
50.在一个具体的例子中，标准除数为25％。例如，比值<25％时，目标整数为0，调整数值为0，对量化参数不做任何调整。比值为30％时，目标整数为1，调整数值为1，量化参数增加或者减少1。比值为50％时，标整数为2，调整数值为2，量化参数增加或减少2，以此类推。
51.通过计算差值与期望编码数据量之间的比值，并除以标准除数，对商取整，可以对调整参数进行归一化和修正，提高调整数值的准确率。
52.可选的，根据目标整数，确定调整数值，包括：将第一比值与预设标准比值进行比较，并确定对应的调整系数；根据调整系数，和目标整数，确定调整数值。
53.在一些动态场景中，会导致视频帧的数据量波动特别大。例如，玩游戏或者看视频的场景。如果只是按照目标整数增加或减少量化参数，调整的速度太慢。因此，在目标整数的基础上，增加调整系数。增加量化参数的调整数值，加快量化参数的调整速度。
54.调整系数用于对目标整数进行调整，增加调整数值，以加快量化参数的调整速度。标准比值用于确定调整系数，具体是用于检测视频帧的数据量的波动。在第一比值大于等于标准比值的情况下，确定存在视频帧的数据量波动大的应用场景，此时，根据调整系数，增大目标整数，并将增大后的目标整数，确定为调整数值，示例性的，调整数值为调整系数与目标整数之和或乘积；或者，调整数值为目标整数的调整系数次方等。在第一比值小于标准比值的情况下，确定存在视频帧的数据量波动小的应用场景，此时，调整系数为1，根据调整系数，对目标整数不调整，并将目标整数，确定为调整数值。
55.在一个具体的例子中，标准比值为150％，在第一比值为175％时，第一比值大于标准比值，对应的，调整系数为2，计算目标整数为150％/25％＝7，调整数值为7*2＝14。又如，在第一比值为125％时，第一比值小于标准比值，对应的调整系数为1，计算目标整数为125％/25％＝5，调整数值为5*1＝5通过在目标整数的基础上增加调整系数，可以在视频帧的数据量波动大时，增大目标整数，确定为调整数值，使得量化参数加快调整速度，可以更快稳定视频帧的数据量，从而精准保持码率和流量恒定。
56.s204，根据实际编码数据量和期望编码数据量的数值比较关系，确定调整数值的符号。
57.实际编码数据量与期望编码数据量的数值比较关系，用于确定实际编码数据量和期望编码数据之间的大小关系。调整数值的符号包括正或负，也即量化参数的调整方向包括增加或减少。而大小关系实际与量化参数的调整方向对应，也即与调整数值的符号对应。
例如，实际编码数据量大于期望编码数据量，可以增加量化参数，即符号为正，以增加损失的数据量，从而，减少后续编码的视频帧的数据量；实际编码数据量小于期望编码数据量，可以减少量化参数，即符号为负，以减少损失的数据量，从而，增加后续编码的视频帧的数据量。此外，实际编码数据量等于期望编码数据量，量化参数的调整数值为0，可以不确定符号，即不需要对量化参数进行调整，或者调整后的量化参数与调整前的量化参数相同。
58.s205，根据调整数值和调整数值的符号，调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
59.根据调整数值和符号，可以对量化参数进行增加调整数值或减少调整数值，精准实现对量化参数的调整。
60.根据本公开的技术方案，通过实际编码数据量与期望编码数据量之间的差值，确定量化参数的调整数值，以及根据实际编码数据量与期望编码数据量之间的数值比较关系，确定调整参数的符号，可以精确确定量化参数的调整的方向和具体数值，精准修改量化参数，灵活控制编码视频帧的数据量，从而精准实现码率和流量恒定。
61.图3是根据本公开实施例公开的另一种视频编码方法的流程图，基于上述技术方案进一步优化与扩展，并可以与上述各个可选实施方式进行结合。根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量，具体化为：根据编码器的码率，计算在历史时间段的期望编码数据总量；根据期望编码数据总量和编码帧数，计算在历史时间段内每视频帧的数据量，并确定为期望编码数据量。
62.s301，获取编码器在历史时间段的实际编码数据量和编码帧数。
63.可选的，获取编码器在历史时间段的实际编码数据量，包括：获取编码器针对视频流在历史时间段的实际编码数据量。
64.本公开实施例应用于编码器针对视频流进行编码的过程中。更具体的，是编码器针对云手机的视频流进行编码过程中。也即本公开实施例提供的视频编码方法具体是应用于云手机中。云手机是基于云的软件定义仿真手机服务，以使部分物理手机的应用场景可通过云端智能运行，相当于是将手机的功能在云端实现。
65.通过对视频流进行编码，并使码率恒定，可以实现以改变视频流的视频图像的质量，保持流量恒定，可以节省视频流传输的流量。
66.s302，根据编码器的码率，计算在历史时间段的期望编码数据总量。
67.根据码率，可以计算得到编码器在1秒内编码的视频帧的数据总量。期望编码数据总量为以历史时间段的时长编码的视频帧的数据总量。
68.在一个具体的例子中，码率为4096，在a数据格式下，编码器在1秒内编码的视频帧的数据总量为4096*1024位，换算为字节数，则期望编码数据总量为4096*1024/8＝524288的字节数，约为524k字节数。历史时间段为50ms，期望编码数据总量为524k/1000*50＝26214字节数。
69.s303，根据期望编码数据总量和编码帧数，计算在历史时间段内一个视频帧的数据量，并确定为期望编码数据量。
70.期望编码数据总量除以编码帧数，可以得到平均一个视频帧的数据量，并确定为期望编码数据量。
71.如前例，视频帧数为10，期望编码数据量为26214/100＝262字节数。需要说明的是
字节数还可以都换算成位数，具体根据需要进行设定。
72.s304，对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
73.可选的，数据量为帧大小。
74.数据量为在编码器将视频编码为某个数据格式的视频的过程中，一个视频帧的帧大小。其中，帧大小是指在该数据格式下，一个视频帧包括的位数，通常为视频帧包括的像素数量，与该数据格式下，位数与像素的比值的乘积，不同数据格式，相应的位数与像素的对应关系不同。
75.通过配置数据量为帧大小，可以以位(或比特)级别对视频帧的大小进行控制，增加量化参数的控制灵活性和精准性。
76.根据本公开的技术方案，通过码率计算历史时间段的期望编码数据总量，并根据实际的编码帧数，计算以码率进行编码的一个视频帧的数据量，从而计算得到码率进行编码的期望编码数据量，并根据期望编码数据量对量化参数进行调整，实现基于调整后的量化参数的编码方式可以确保码率恒定。
77.图4是根据本公开实施例公开的一种编码器和处理器之间的信令图。
78.s401，处理器向编码器发送量化参数、历史时间段的时长和码率，以配置编码器的量化参数、历史时间段的时长和码率。
79.处理器用于实现本公开实施例提供的视频编码方法，编码器用于实现对视频流进行编码。
80.s402，编码器向处理器发送视频帧；
81.s403，处理器检测视频帧的实际编码数据量和期望编码数据量。
82.s404，处理器根据实际编码数据量和期望编码数据量，计算调整数值。
83.s405，处理器根据调整数值，调整量化参数。
84.s406，处理器向编码器发送调整后的量化参数，以更新配置编码器的量化参数。
85.其中，每隔历史时间段的时长，循环执行一次s402
‑
s406。
86.通过编码数据量，调整量化参数，控制码率保持恒定，实现控制流量恒定，节省流量。
87.根据本公开的实施例，图5是本公开实施例中的视频编码装置的结构图，本公开实施例适用于在视频编码过程中不断对编码器的量化参数进行调整的情况。该装置采用软件和/或硬件实现，并具体配置于具备一定数据运算能力的电子设备中。
88.如图5所示的一种视频编码装置500，包括：历史编码数据获取模块501、期望编码数据计算模块502和量化参数调整模块503；其中，
89.历史编码数据获取模块501，用于获取编码器在历史时间段的实际编码数据量和编码帧数；
90.期望编码数据计算模块502，用于根据编码器的码率和编码帧数，计算历史时间段的期望编码数据量；
91.量化参数调整模块503，用于对实际编码数据量和期望编码数据量进行比较，并根据比较结果调整编码器的量化参数，以指示编码器采用调整后的量化参数继续进行编码。
92.根据本公开的技术方案，通过历史时间段的编码器的实际编码数据量、编码帧数
和码率，对编码器的量化参数进行调整，以对视频帧的编码数据量进行控制，实现保持编码数据量恒定和码率的恒定，提高视频编码所占用的带宽的稳定性以及提高视频编码的流量稳定性，而且在编码过程中实时对量化参数进行调整，可以提高视频编码的稳定性，降低人工成本，以及提高恒定码率的控制效率。
93.进一步的，量化参数调整模块503，包括：调整数值计算单元，用于计算实际编码数据量和期望编码数据量之间的差值，并确定调整数值；调整符号确定单元，用于根据实际编码数据量和期望编码数据量的数值比较关系，确定调整数值的符号；量化参数调整单元，用于根据调整数值和调整数值的符号，调整编码器的量化参数。
94.进一步的，调整数值计算单元，包括：比值计算子单元，用于计算差值与期望编码数据量之间的第一比值；整数计算子单元，用于计算第一比值与预设标准除数的第二比值并取整，得到目标整数；调整数值确定子单元，用于根据目标整数，确定调整数值。
95.进一步的，调整数值确定子单元，包括：调整系数计算子单元，用于将第一比值与预设标准比值进行比较，并确定对应的调整系数；目标整数调整子单元，用于根据调整系数，和目标整数，确定调整数值。
96.进一步的，期望编码数据计算模块502，包括：期望编码数据总量计算单元，用于根据编码器的码率，计算在历史时间段的期望编码数据总量；期望编码数据量确定单元，用于根据期望编码数据总量和编码帧数，计算在历史时间段内一个视频帧的数据量，并确定为期望编码数据量。
97.进一步的，历史编码数据获取模块501，包括：视频流历史编码数据获取模块，用于获取编码器针对视频流在历史时间段的实际编码数据量。
98.进一步的，数据量为帧大小。
99.上述视频编码装置可执行本公开任意实施例所提供的视频编码方法，具备执行视频编码方法相应的功能模块和有益效果。
100.本公开的技术方案中，所涉及的用户个人信息或车辆信息的获取，存储和应用等，均符合相关法律法规的规定，且不违背公序良俗。
101.根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
102.图6示出了可以用来实施本公开的实施例的示例电子设备600的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
103.如图6所示，设备600包括计算单元601，其可以根据存储在只读存储器(rom)602中的计算机程序或者从存储单元608加载到随机访问存储器(ram)603中的计算机程序，来执行各种适当的动作和处理。在ram 603中，还可存储设备600操作所需的各种程序和数据。计算单元601、rom 602以及ram 603通过总线604彼此相连。输入/输出(i/o)接口605也连接至总线604。
104.设备600中的多个部件连接至i/o接口605，包括：输入单元606，例如键盘、鼠标等；
输出单元607，例如各种类型的显示器、扬声器等；存储单元608，例如磁盘、光盘等；以及通信单元609，例如网卡、调制解调器、无线通信收发机等。通信单元609允许设备600通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
105.计算单元601可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元601的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。计算单元601执行上文所描述的各个方法和处理，例如视频编码方法。例如，在一些实施例中，视频编码方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元608。在一些实施例中，计算机程序的部分或者全部可以经由rom 602和/或通信单元609而被载入和/或安装到设备600上。当计算机程序加载到ram 603并由计算单元601执行时，可以执行上文描述的视频编码方法的一个或多个步骤。备选地，在其他实施例中，计算单元601可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行视频编码方法。
106.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
107.用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
108.在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd
‑
rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
109.为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用
任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
110.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)和互联网。
111.计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端
‑
服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，也可以为分布式系统的服务器，或者是结合了区块链的服务器。
112.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
113.上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。