一种显存分配方法和相关装置与流程

专利检索2026-02-24  3


本申请涉及存储,尤其涉及一种显存分配方法和相关装置。


背景技术:

1、人工智能(artificial intelligence,ai)模型可部署在一个或多个计算设备上,计算设备可以独立或者配合执行ai模型的功能,例如,实现模型的训练。而某些ai模型架构的张量形状有固定的设置,该固定的设置可以减少ai模型架构中数据访问操作,进而提高计算设备的性能。

2、但是,当ai模型更换计算设备重新部署时,受到新的计算设备的张量核的计算粒度以及排布带来的数据对齐的约束,原有的张量形状的固定的设置可能与新的计算设备的存储要求不匹配,可能导致模型端到端的显存开销显著提高,进而影响设备性能。


技术实现思路

1、本申请示例性的实施方式中提供一种显存分配方法和相关装置,用来克服显存分配浪费的问题,提高显存利用率。

2、根据示例性的实施方式中的第一方面,提供一种显存分配方法,该方法中:

3、首先,确定设定芯片的显存分配规则,该设定芯片上部署设定模型;其次,获取张量特征信息,而该张量特征信息与设定模型对应;最后,将待处理数据按照第一存储规则存储至显存,这里的第一存储规则是根据显存分配规则和张量特征信息的关系确定的。

4、通过上述方法,设定模型部署在设定芯片上,而设定芯片具备特定的显存分配规则,如果待处理数据搬运至显存后,显存按照默认显存分配规则对待处理数据进行存储,可能造成存储空间浪费。因此,考虑到张量特征信息与显存分配规则的关系,确定第一存储规则,将待处理数据按照第一存储规则存储至显存,与直接按照显存分配规则存储相比,克服显存浪费的问题,提高显存利用率。

5、根据示例性的实施方式中的第二方面,提供一种显存分配装置,该装置包括:

6、处理单元,用于:确定设定芯片的显存分配规则;其中,设定芯片上部署设定模型;

7、处理单元,还用于:获取张量特征信息;其中,张量特征信息与设定模型对应;

8、传输单元,用于:将待处理数据按照第一存储规则存储至显存;其中,第一存储规则是根据显存分配规则和张量特征信息的关系确定的。

9、根据示例性的实施方式中的第三方面,本申请实施例提供了一种计算设备,包括处理器和存储器;

10、存储器,用于存储计算机程序指令;

11、处理器执行调用存储器中的计算机程序指令执行前述任意一方面中或任意一方面中的任意可能的实现方式中提供的方法。

12、根据示例性的实施方式中的第四方面,本申请实施例中还提供一种计算机可读存储介质,该存储介质中存储软件程序,该软件程序在被一个或多个处理器读取并执行时可实现任意一方面中的任意一种设计提供的方法。

13、根据示例性的实施方式中的第五方面,本申请提供了一种计算机程序产品,计算机程序产品包括计算机指令,在被计算设备执行时,计算设备执行前述任意一方面中或任意一方面中的任意可能的实现方式中提供的方法。该计算机程序产品可以为一个软件安装包,在需要使用前述任一方面或任一方面的任意可能的实现方式中提供的方法的情况下,可以下载该计算机程序产品并在计算设备上执行该计算机程序产品。

14、根据示例性的实施方式中的第六方面,本申请还提供一种计算机芯片,芯片与存储器相连,芯片用于读取并执行存储器中存储的软件程序,执行前述任一方面或任一方面的任意可能的实现方式中提供的方法。



技术特征:

1.一种显存分配方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述将待处理数据按照第一存储规则存储至显存之前,所述方法还包括:

3.根据权利要求2所述的方法,其特征在于,所述显存分配规则为:在设定存储方式下,按照预设高度维对齐约束值进行显存分配;所述方法还包括:

4.根据权利要求1所述的方法,其特征在于,所述获取张量特征信息之后,所述方法还包括:

5.根据权利要求1所述的方法,其特征在于,所述将待处理数据按照第一存储规则存储至显存之后,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述控制所述设定模型对所述显存中的待处理数据进行处理之前,所述方法还包括:

7.根据权利要求5所述的方法,其特征在于,所述设定模型中包括多个具有连接关系的算子;所述多个算子中每个算子用于执行至少一个计算操作;

8.根据权利要求7所述的方法,其特征在于,所述方法还包括:

9.根据权利要求1~8任一项所述的方法,其特征在于,所述第一存储规则包括:

10.一种显存分配装置,其特征在于,包括:

11.一种显存分配设备,其特征在于,包括处理器和存储器;

12.一种包含指令的计算机程序产品,其特征在于,当所述指令被计算设备运行时,使得所述计算设备执行如权利要求的1~9任一项所述的方法。

13.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备执行时,所述计算设备执行如权利要求1~9任一项所述的方法。

14.一种芯片,其特征在于,所述芯片与存储器相连,所述芯片用于读取并执行存储器中存储的软件程序,执行如权利要求1~9任一项所述的方法。


技术总结
本申请公开了一种显存分配方法和相关装置,该方法中,确定设定芯片的显存分配规则,该设定芯片上部署设定模型,该设定模型对应确定的张量特征信息,获取该张量特征信息。由于第一存储规则的确定过程考虑了显存分配规则和张量特征信息的关系,因此,将待处理数据按照第一存储规则存储至显存后,与直接按照显存分配规则对应的存储规则进行存储相比,克服显存浪费问题,提高显存利用率。

技术研发人员:请求不公布姓名,请求不公布姓名
受保护的技术使用者:上海壁仞科技股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1161689.html

最新回复(0)