产品简介
Latent Consistency Models（简称LCM，原名潜在一致性模型）是一种先进的生成式人工智能模型，由清华大学交叉信息科学研究院的研究团队开发。作为潜在扩散模型（LDMs）之后的新一代生成模型，LCM的核心目标是克服传统扩散模型在图像生成过程中迭代采样速度慢的瓶颈。通过将引导反向扩散过程视为求解增广概率流常微分方程（PF-ODE），LCM能够在潜空间中直接预测其解，从而以极少的推理步骤实现超快速的图像合成。
核心工作原理
LCM的技术基础在于对扩散过程的数学重构。传统扩散模型需要数十甚至上百步的迭代去噪才能生成清晰图像，而LCM通过蒸馏技术，学习从噪声到图像的映射关系。具体而言，LCM将引导的反向扩散过程建模为求解增广概率流常微分方程。模型直接在潜空间预测该方程的解，从而避免了繁琐的多步迭代。这种方法使得模型能够在2到4步，甚至单步推理中生成高质量图像，显著提升了生成效率。
高效蒸馏与训练优势
LCM的一个显著优势是其高效的蒸馏过程。资料显示，一个高质量的768×768分辨率LCM模型，可以从预训练的Stable Diffusion模型中蒸馏而来。这一过程仅需4000个训练步骤，相当于在8个节点上使用A100 GPU训练4小时，总计约32个A100 GPU小时。这种低成本的训练需求使得LCM易于从现有的强大基础模型（如Stable Diffusion及其变体Dreamshaper-V7）中衍生出来，同时保持了极高的生成质量。
少步推理能力
LCM支持极少的推理步数，这是其区别于传统扩散模型的关键特征。根据官方展示，LCM可以在以下步数下生成768×768分辨率的高质量图像：
- 4步推理：能够生成细节丰富、结构完整的图像，适用于大多数高质量生成需求。
- 2步推理：在保持较高图像质量的同时，进一步大幅缩短生成时间。
- 1步推理：实现极速生成，虽然可能在极端细节上略有妥协，但适用于对速度要求极高的实时应用场景。
这种灵活性使得用户可以根据实际需求在生成速度和图像质量之间进行平衡。
潜在一致性微调（LCF）
除了从零蒸馏，LCM还支持一种名为潜在一致性微调（Latent Consistency Fine-tuning, LCF）的方法。LCF是专为预训练LCM设计的微调技术，它允许用户在自定义数据集上进行高效的小步数推理微调，而无需依赖教师扩散模型。这为直接微调预训练LCM提供了一种可行的替代方案。例如，通过LCF，用户可以在Pokemon数据集或Simpsons数据集上快速微调模型，使其生成具有特定风格或角色的定制化图像。
适用人群与应用场景
LCM适用于需要快速生成高分辨率图像的各类用户和场景：
- 内容创作者：需要快速迭代创意，生成大量概念图或素材的设计师和艺术家。
- 开发者：希望在其应用中集成快速文本到图像生成功能的软件工程师。
- 研究人员：关注生成模型效率优化和蒸馏技术的研究人员。
- 实时应用：需要低延迟图像生成的交互式应用，如游戏资产生成或实时视觉反馈系统。
常见问题
LCM与传统Stable Diffusion相比有什么主要优势？
LCM的主要优势在于推理速度。传统Stable Diffusion通常需要20-50步甚至更多步骤来生成一张高质量图像，而LCM经过蒸馏后，仅需2-4步即可达到相似的视觉质量。这意味着生成速度可以提升数倍至数十倍，极大地提高了生产效率。
使用LCM是否需要重新训练整个模型？
不需要从头训练。LCM可以通过蒸馏预训练的Stable Diffusion模型获得，这个过程相对高效，仅需约32个A100 GPU小时。此外，对于特定风格的需求，可以使用潜在一致性微调（LCF）技术在自定义数据集上进行微调，而无需依赖复杂的教师模型指导。
LCM生成的图像分辨率支持多少？
根据现有资料，LCM已经展示了生成768×768分辨率高质量图像的能力。由于其基于潜在空间的操作，理论上可以支持更高的分辨率，但具体效果取决于基础模型的能力和微调策略。官方示例中重点展示了768×768分辨率下的少步生成效果。
数据统计
相关导航
