-
Matryoshka Diffusion Models – 苹果开源高清图像和视频生成的扩散模型
Matryoshka Diffusion Models项目简介 Matryoshka Diffusion Models（MDM）是苹果公司推出的一种创新的扩散模型，主要用于生成高分辨率图像和视频。MDM通过多分辨率扩散过程，在不同尺度上同时进行去噪，有效提升模型的训练效率和生成质量。基于NestedUNet架构，实现小尺度特征到大尺度结构的嵌套，促进不同分辨率间的信息共享。MDM特别适用于计算资源…- 0
- 0
-
DreamO – 字节联合北大推出的图像定制生成框架
DreamO项目简介 DreamO 是字节跳动创作团队联合北京大学深圳研究生院电子与计算机工程学院联合推出的用在图像定制生成的统一框架，基于预训练的扩散变换器（DiT）模型实现多种图像生成任务的灵活定制。DreamO 支持身份、主体、风格、背景等多种条件的无缝集成，基于特征路由约束和占位符策略提升生成结果的一致性和条件解耦能力。DreamO 用分阶段训练策略，确保模型在复杂任务中高效收敛保持高质量…- 3
- 0
-
DisPose – 北大等多所高校推出的增强人物图像控制动画质量的技术
DisPose项目简介 DisPose是北京大学、中国科学技术大学、清华大学和香港科技大学的研究团队共同推出的，提高人物图像动画质量的控制技术，基于从骨骼姿态和参考图像中提取有效的控制信号，无需额外的密集输入。DisPose将姿态控制分解为运动场引导和关键点对应，生成密集运动场以提供区域级引导，同时保持对不同体型的泛化能力。DisPose包括一个即插即用的混合ControlNet，能改善现有模型生…- 0
- 0
-
sCM – OpenAI推出连续时间一致性模型，两步采样生成高质量图像
sCM项目简介 sCM是OpenAI推出的连续时间一致性模型，基于扩散模型原理进行改进。sCM简化理论框架和优化采样过程，实现图像生成速度的显著提升。sCM模型仅需两步采样能生成高质量图像，速度比传统扩散模型快50倍。基于连续时间框架，避免离散化误差，用一系列关键改进如改进的时间条件策略和自适应双归一化，提高模型训练的稳定性和生成质量。sCM的发布预示着实时、高质量生成式AI在多个领域的应用前景，…- 0
- 0
-
SwiftBrush V2 – 文本到图像的单步扩散模型，性能与多步模型相媲美
SwiftBrush V2项目简介 SwiftBrush V2 是文本到图像的单步扩散模型，通过改进训练方法和模型融合技术，实现与多步Stable Diffusion扩散模型相媲美的性能。模型通过更好的权重初始化、高效的LoRA训练，引入一种新颖的夹紧CLIP损失来增强图像与文本的对齐，提高图像质量。SwiftBrush V2 的训练不需要使用真实的图像数据，降低了训练成本提高了数据效率。 Swi…- 3
- 0
-
DreamPolish – 智谱AI、清华、北大联合推出的文本到3D生成模型
DreamPolish项目简介 DreamPolish是智谱 AI、清华大学和北京大学推出的文本到3D生成模型，基于两阶段方法改进复杂对象的精细几何结构和高质量纹理的生成。第一阶段用多种神经表示逐步细化几何形状，基于抛光阶段改善表面细节。第二阶段用领域得分蒸馏技术，引导纹理生成朝向结合逼真度和一致性的目标领域，显著提升纹理质量。DreamPolish在几何和纹理方面均超越现有技术，为3D资产创造开…- 0
- 0
-
ObjectMover – 港大联合 Adobe 推出的新型图像编辑模型
ObjectMover项目简介 ObjectMover 是香港大学和 Adobe Research 联合提出的新型图像编辑模型，解决图像中物体移动、插入和移除时出现的光照、阴影不协调以及物体失真等问题。将物体移动视为两帧视频的特殊案例，利用预训练视频生成模型的跨帧一致性学习能力，通过微调模型将其迁移到图像编辑任务。模型采用序列到序列建模，输入包括原始图像、目标物体图像和指令图，输出为物体移动后的合…- 0
- 0
-
InstructMove – 东京大学联合 Adobe 推出基于指令的图像编辑模型
InstructMove项目简介 InstructMove是东京大学和Adobe公司联合推出的基于指令的图像编辑模型，通过观察视频中的帧对变化学习如何根据指令进行图像操作。模型基于多模态大型语言模型（MLLMs）生成描述帧对之间变化的编辑指令，训练出能在保持内容一致性的同时，执行复杂非刚性编辑任务的能力，如调整主体姿势、改变表情和视角等。InstructMove用真实视频帧作为数据源，确保编辑过程…- 0
- 0
-
Click2Mask – AI图像编辑技术，通过简单点击和内容描述实现智能编辑
Click2Mask项目简介 Click2Mask 是一种先进的图像编辑技术，支持用户通过在图片上简单点击来实现局部编辑，无需复杂的遮罩或详细描述。通过动态生成遮罩，结合混合潜在扩散（BLD）过程和基于 CLIP 的语义损失来引导遮罩的生成，简化用户输入。Click2Mask 自动适应编辑需求，调整遮罩大小和形状，在指定区域内添加新内容，同时保持图片其他部分不变。适用于数字艺术创作、照片编辑和在线…- 1
- 0
-
SigStyle – 吉大联合 Adobe 等机构推出的风格迁移框架
SigStyle项目简介 SigStyle 是吉林大学、南京大学智能科学与技术学院及Adobe推出的新型签名风格迁移框架，支持将单张风格图像中独特的视觉特征（如几何结构、色彩搭配、笔触等）无缝迁移到内容图像上。SigStyle基于个性化文本到图像扩散模型，用超网络高效微调模型捕捉签名风格，将风格表示为特殊标记。在迁移过程中，SigStyle 引入时间感知注意力交换技术，确保内容一致性。SigSty…- 1
- 0
-
Flex3D – Meta GenAI和牛津大学共同推出的两阶段3D生成框架
Flex3D项目简介 Flex3D是Meta的GenAI团队和牛津大学研究团队推出的创新的两阶段3D生成框架，能基于任意数量的高质量输入视图，解决从文本、单张图片或稀疏视图图像生成高质量3D内容的挑战。第一阶段，基于微调的多视图和视频扩散模型生成多样化的候选视图，用视图选择机制确保只有高质量和一致的视图被用于重建。第二阶段，用灵活重建模型（FlexRM），一个基于transformer架构的模型，…- 2
- 0
-
Aether – 上海 AI Lab 开源的生成式世界模型
Aether项目简介 Aether 是上海AI Lab开源的生成式世界模型，完全基于合成数据训练。Aether 首次将三维时空建模与生成式建模深度融合，具备 4D 动态重建、动作条件视频预测和目标导向视觉规划三大核心能力。Aether 能感知环境、理解物体位置和运动关系，做出智能决策。Aether 在真实世界中展现出强大的零样本泛化能力，使用虚拟数据训练完成高效完成复杂任务，为具身智能系统提供强大…- 0
- 0
-
Hunyuan3D 2.0 – 腾讯推出的大规模 3D 资产生成系统
Hunyuan3D 2.0项目简介 Hunyuan3D 2.0 是腾讯推出的大规模 3D 资产生成系统，专注于从文本和图像生成高分辨率的 3D 模型。系统采用两阶段生成流程：首先生成无纹理的几何模型，再合成高分辨率纹理贴图。包含两个核心组件：Hunyuan3D-DiT（几何生成模型）和 Hunyuan3D-Paint（纹理合成模型），分别用于生成精确的几何结构和生动逼真的纹理。 Hunyuan3D…- 3
- 0
-
SuperEdit – 字节跳动等机构推出的图像编辑方法
SuperEdit项目简介 SuperEdit是字节跳动智能创作团队和佛罗里达中央大学计算机视觉研究中心联合推出的指令引导图像编辑方法，基于优化监督信号提高图像编辑的精度和效果。SuperEdit基于纠正编辑指令，与原始图像和编辑图像对更准确地对齐，引入对比监督信号，进一步优化模型训练。SuperEdit不需要额外的视觉语言模型（VLM）或预训练任务，仅依赖高质量的监督信号，在多个基准测试中实现显…- 5
- 0
-
LanDiff – 浙大联合月之暗面推出的文本到视频生成混合框架
LanDiff项目简介 LanDiff是用于高质量的文本到视频（T2V）生成的创新混合框架，结合了自回归语言模型（LLM）和扩散模型（Diffusion Model）的优势，通过粗到细的生成方式，有效克服了单一方法在语义理解和视觉质量上的局限性。在VBench T2V基准测试中取得了85.43的高分，超越了包括13B的Hunyuan Video在内的多个开源和商业模型。 LanDiff优势介绍 高…- 0
- 0
-
StochSync – AI图像生成技术，为360°全景图和3D网格纹理生成高质量图像
StochSync项目简介 StochSync（Stochastic Diffusion Synchronization）是创新的图像生成技术，专门用于在复杂空间（如360°全景图或3D表面纹理）中生成`。结合了扩散同步（DS）和分数蒸馏采样（SDS）的优势，通过在扩散模型的逆生成过程中引入最大随机性，兼顾图像细节与连贯性。StochSync无需额外训练，在全景图和3D纹理生成中表现出色，在没有图…- 2
- 0
-
DynVFX – AI视频增强技术，将新动态内容与原始视频无缝融合
DynVFX项目简介 DynVFX是创新的视频增强技术，能根据简单的文本指令将动态内容无缝集成到真实视频中。通过结合预训练的文本到视频扩散模型和视觉语言模型（VLM），实现了在不依赖复杂用户输入的情况下，自然地将新动态元素与原始视频场景融合。用户只需提供简短的文本指令，例如“添加一只在水中游泳的海豚”，DynVFX可自动解析指令，基于VLM生成详细的场景描述，通过锚点扩展注意力机制精准定位新内容的…- 0
- 0
-
MT-Color – 上海交大联合哔哩哔哩推出的可控图像着色框架
MT-Color项目简介 MT-Color是上海交通大学联合哔哩哔哩推出的基于扩散模型的可控图像着色框架，基于用户提供的实例感知文本和掩码实现精确的实例级图像着色。框架基于像素级掩码注意力机制防止色彩溢出，用实例掩码和文本引导模块解决色彩绑定错误问题，用多实例采样策略增强实例感知效果。MT-Color构建了GPT-Color数据集，提供高质量的实例级注释，支持更精细的图像着色任务。MT-Color…- 0
- 0
-
Mochi 1 – Genmo推出的开源高质量AI视频生成模型
Mochi 1项目简介 Mochi 1是Genmo公司推出的开源AI视频生成模型，在动作质量和遵循用户提示方面表现出色。Mochi 1基于Apache 2.0许可证发布，支持个人和商业用途的免费使用。模型目前提供480p的基础版本，计划在年底前推出支持720p的高清版本Mochi 1 HD，提供更高保真度和更流畅的动作。Mochi 1的模型权重和架构在Hugging Face平台上找到，Genmo…- 2
- 0
-
ARTalk – 东京大学等机构推出的3D头部动画生成框架
ARTalk项目简介 ARTalk是东京大学和日本理化学研究所推出的新型语音驱动3D头部动画生成框架，基于自回归模型实现实时、高同步性的唇部动作和自然的面部表情及头部姿势生成。ARTalk用多尺度运动码本和滑动时间窗口技术，结合语音输入生成高质量的动画序列。ARTalk引入风格编码器，适应未见说话风格，生成具有独特个性的3D动画。ARTalk在唇部同步精度、表情自然性和风格一致性方面优于现有技术，…- 2
- 0
-
PlayDiffusion发布：开源扩散模型实现语音“局部修改”不留痕
Play AI 日前开源推出了一款全新语音编辑模型——PlayDiffusion，这是一种基于扩散模型的创新性工具，专为语音局部修改而设计。不同于传统的文本转语音系统需对整段音频重生成，PlayDiffusion 支持直接对语音中的某一部分进行替换、删除或调整，而其他未修改部分将保持完全一致。这种方式不仅极大提高了效率，也让音频编辑进入“所听即所得”的新阶段。 用户只需提供目标文本（例如将音频中的…- 2
- 0
-
LongAlign – 港大推出的提升文本到图像扩散模型处理长文本对齐方法
LongAlign项目简介 LongAlign是香港大学研究团队推出的文本到图像（T2I）扩散模型的改进方法，能提升长文本输入的对齐精度。LongAlign用段级编码技术，将长文本分割处理，适应编码模型的输入限制。同时引入分解偏好优化，基于区分偏好模型中的文本相关和无关部分，应用不同权重减少过拟合，增强对齐度。经过20小时微调，LongAlign显著提高Stable Diffusion v1.5模…- 2
- 0
-
PersonaMagic – 高保真人脸定制技术，根据肖像无缝生成新角色
PersonaMagic项目简介 PersonaMagic 是创新的高保真人脸定制技术，通过阶段调节的文本条件策略实现个性化图像生成。基于简单多层感知机（MLP）网络学习一系列动态嵌入，在特定时间步间隔内准确捕获人脸概念。PersonaMagic 引入了双平衡机制（Tandem Equilibrium），在文本编码器中调整自注意力响应，有效平衡文本描述与身份保持之间的关系，提升生成图像的准确性和一…- 3
- 0
-
FlipSketch – 萨里大学推出的文本引导生成无约束草图动画的AI系统
FlipSketch项目简介 FlipSketch 是萨里大学推出的创新系统，能将静态绘图转变为文本引导的草图动画。技术基于三个关键创新实现：微调草图风格的帧生成、用噪声细化保持输入草图视觉完整性的参考帧机制，及在不失去视觉一致性的情况下实现流畅运动的双注意力合成。与传统矢量动画不同，FlipSketch 支持动态草图变换，捕捉传统动画的自由表现力，让草图动画制作变得简单直观，同时保持手绘动画的艺…- 2
- 0