一种基于属性编辑的图片生成方法与流程

本发明涉及互联网婚恋交友网站领域，尤其涉及一种基于属性编辑的图片生成方法。
背景技术：
：：1、互联网婚恋交友网站为用户提供了多样的择偶选择，但海量的数据也增加了用户找到理想型对象的难度。根据用户描述生成理想型照片，然后根据理想型照片搜索与之相似的用户照片，有利于提高用户的择偶效率。但是，以往的人脸照片生成方法往往难以进行属性控制，无法根据用户的描述生成相应的长相，尤其无法对五官等精细颗粒度的特征进行控制，所以无法满足用户的个性化和定制化需求。而且生成的图片质量较低，缺乏真实感和逼真度，无法满足用户需求。技术实现思路1、鉴于上述问题，提出了本发明以便提供克服上述问题或者至少部分地解决上述问题的一种基于属性编辑的图片生成方法。2、根据本发明的一个方面，提供了一种基于属性编辑的图片生成方法，所述生成方法包括：3、步骤s1：获取任务照片数据和stable diffusion模型；4、步骤s2：对所述stable diffusion模型进行微调，获得微调模型；5、步骤s3：基于所述微调模型采用controlnet生成控制；6、步骤s4：文本prompt生成控制；7、步骤s5：采用codeformer进行人脸优化；8、步骤s6：结合婚恋业务实现理想型照片的生成，应用实现。9、可选的，所述步骤s1：获取任务照片数据和stable diffusion模型具体包括：10、利用laion-5b数据集训练的stable diffusion模型，作为用于文生图模型的底模，同时准备真实风格的高质量人物照片作为微调模型的训练数据，实现图像生成。11、可选的，所述步骤s2：对所述stable diffusion模型进行微调，获得微调模型具体包括：12、对训练集中的每张照片，使用deepbooru算法自动生成标签tag；13、人工筛选所述标签tag，去除不符合实际的标签tag；14、利用筛选后的标签tag对预训练的sd模型进行微调，优化生成效果。15、可选的，所述步骤s3：基于所述微调模型采用controlnet生成控制具体包括：16、使用训练集照片作为输入数据，并利用hed算法生成线稿图；17、采用blip算法提取训练集照片的caption文本标签；18、使用原图、hed图和caption标签作为训练数据，对controlnet模型进行微调训练；19、利用训练集照片生成hed线稿图，并从中提取人物的轮廓信息；20、利用controlnet模型和hed图对生成的轮廓进行控制，从而实现生成具有不同轮廓的人物照片。21、可选的，所述步骤s4：文本prompt生成控制具体包括：利用人工筛选的prompt，生成符合规则、属性多样的图像。22、可选的，所述步骤s5：采用codeformer进行人脸优化具体包括：使用codeformer算法进行人脸修复，并生成图像。23、可选的，所述步骤s6：结合婚恋业务实现理想型照片的生成，应用实现具体包括：结合婚恋业务，实现理想型照片的生成，用户根据理想型照片，在平台上找到与所述理想型照片相似的真实用户照片。24、本发明提供的一种基于属性编辑的图片生成方法，所述生成方法包括：步骤s1：获取任务照片数据和stable diffusion模型；步骤s2：对所述stable diffusion模型进行微调，获得微调模型；步骤s3：基于所述微调模型采用controlnet生成控制；步骤s4：文本prompt生成控制；步骤s5：采用codeformer进行人脸优化；步骤s6：结合婚恋业务实现理想型照片的生成，应用实现。提高用户找到理想伴侣的效率，提高用户的满意度和使用体验。25、上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。技术特征：1.一种基于属性编辑的图片生成方法，其特征在于，所述生成方法包括：2.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s1：获取任务照片数据和stable diffusion模型具体包括：3.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s2：对所述stable diffusion模型进行微调，获得微调模型具体包括：4.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s3：基于所述微调模型采用controlnet生成控制具体包括：5.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s4：文本prompt生成控制具体包括：利用人工筛选的prompt，生成符合规则、属性多样的图像。6.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s5：采用codeformer进行人脸优化具体包括：使用codeformer算法进行人脸修复，并生成图像。7.根据权利要求1所述的一种基于属性编辑的图片生成方法，其特征在于，所述步骤s6：结合婚恋业务实现理想型照片的生成，应用实现具体包括：结合婚恋业务，实现理想型照片的生成，用户根据理想型照片，在平台上找到与所述理想型照片相似的真实用户照片。技术总结本发明提供的一种基于属性编辑的图片生成方法，所述生成方法包括：步骤S1：获取任务照片数据和Stable Diffusion模型；步骤S2：对所述Stable Diffusion模型进行微调，获得微调模型；步骤S3：基于所述微调模型采用ControlNet生成控制；步骤S4：文本prompt生成控制；步骤S5：采用CodeFormer进行人脸优化；步骤S6：结合婚恋业务实现理想型照片的生成，应用实现。提高用户找到理想伴侣的效率，提高用户的满意度和使用体验。技术研发人员：闫新宇,陈天博,黄莹受保护的技术使用者：上海花千树信息科技有限公司技术研发日：技术公布日：2024/5/29