-
CustomCrafter – 腾讯联合浙大推出的自定义视频生成框架
CustomCrafter项目简介 CustomCrafter 是腾讯和浙江大学联合提出的自定义视频生成框架，能基于文本提示和参考图像生成高质量的个性化视频，同时保留了运动生成和概念组合的能力。CustomCrafter通过设计一系列灵活的模块，实现了无需额外视频，通过少量图像学习，就能生成所需的视频。CustomCrafter 支持自定义主体身份和运动模式，通过保留运动生成和概念组合能力来生成带…- 0
- 0
-
ShotAdapter – Adobe联合UIUC推出的多镜头视频生成框架
ShotAdapter项目简介 ShotAdapter是Adobe联合UIUC推出的用在文本到多镜头视频生成的框架，基于微调预训练的文本到视频模型，引入过渡标记和局部注意力掩码策略，实现对多镜头视频的生成。框架能确保角色在不同镜头中的身份一致性，支持用户用特定的文本提示控制镜头的数量、时长和内容。ShotAdapter推出从单镜头视频数据集中构建多镜头视频数据集的新方法，基于采样、分割和拼接视频片…- 0
- 0
-
Open-Sora 2.0 – 潞晨科技开源的AI视频生成模型
Open-Sora 2.0项目简介 Open-Sora 2.0 是潞晨科技推出的全新开源SOTA（State-of-the-Art）视频生成模型。Open-Sora 2.0 用 20 万美元（224 张 GPU）成功训练出 11B 参数的商业级模型，相比传统高性能视频生成模型大幅降低了训练成本。模型在 VBench 和用户偏好测试中表现卓越，性能媲美甚至超越 HunyuanVideo 和 30B …- 0
- 0
-
LatentLM – 微软联合清华推出的多模态生成模型
LatentLM项目简介 LatentLM是微软研究院和清华大学共同推出的多模态生成模型，能统一处理离散数据（如文本）和连续数据（如图像、音频）。模型用变分自编码器（VAE）将连续数据编码为潜在向量，引入下一个词扩散技术自回归生成向量。LatentLM基于因果Transformer架构实现不同模态间信息共享，提高模型在多模态任务中的性能和可扩展性。LatentLM推出σ-VAE解决方差崩溃问题，增…- 0
- 0
-
FaceShot – 同济大学联合上海 AI Lab等推出的肖像动画生成框架
FaceShot项目简介 FaceShot是同济大学、上海 AI Lab和南京理工大学推出的新型无需训练的肖像动画生成框架。用外观引导的地标匹配模块和基于坐标的地标重定位模块，为各种角色生成精确且鲁棒的地标序列，基于潜在扩散模型的语义对应关系，跨越广泛的角色类型生成面部动作序列。将地标序列输入预训练的地标驱动动画模型生成动画视频。FaceShot突破对现实肖像地标的限制，适用于任何风格化的角色和驱…- 0
- 0
-
CogView3 – 智谱AI推出的开源AI图像生成模型
CogView3项目简介 CogView3是清华大学联合智谱AI推出的开源AI图像生成模型，采用中继扩散技术。模型分阶段生成图像，首先创建低分辨率图像，然后通过中继超分辨率技术提升至高分辨率，提高生成效率并降低成本。CogView3在生成质量和速度上均超越现有的开源模型SDXL，实现在保持图像细节的同时，大幅减少推理时间。此外，CogView3的精简版本在仅使用SDXL十分之一推理时间的情况下，依…- 0
- 0
-
VidSketch – 浙江大学推出的视频动画生成框架
VidSketch项目简介 VidSketch 是浙江大学 CAD&CG 国家重点实验室和软件学院推出的创新视频生成框架，根据手绘草图和简单文本提示生成高质量的视频动画。VidSketch基于“层级草图控制策略”动态调整草图的引导强度，适应不同绘画技能的用户，借助“时空注意力机制”增强视频的时空一致性，解决帧间连贯性问题。VidSketch 降低了视频创作的技术门槛，让普通用户轻松实现高质…- 0
- 0
-
CogVideoX v1.5 – 智谱最新开源的AI视频生成模型
CogVideoX v1.5项目简介 CogVideoX v1.5是智谱最新开源的AI视频生成模型。模型包含CogVideoX v1.5-5B和CogVideoX v1.5-5B-I2V两个版本，5B 系列模型支持生成5至10秒、768P分辨率、16帧的视频，I2V模型能处理任意尺寸比例的图像到视频的转换，结合即将开放内测的CogSound音效模型能自动生成匹配的AI音效。模型在图生视频质量、美学…- 0
- 0
-
GLM-4-Plus – 智谱AI最新推出的旗舰大模型，性能全面提升
GLM-4-Plus项目简介 GLM-4-Plus是智谱AI最新推出的高智能旗舰大模型，在语言理解和长文本处理上取得突破，采用创新技术如PPO，显著提升推理和指令遵循能力。GLM-4-Plus在多个关键指标上与GPT-4o等顶尖模型相媲美，现已开放API服务，并已集成到”智谱清言APP”中，提供流畅的多模态交互体验。 GLM-4-Plus功能特色 全面的语言理解能力：GLM-4-Plus在语言理解…- 1
- 0
-
麦橘超然 – 麦橘推出的AI文生图模型，基于 Flux.1 架构
麦橘超然项目简介 麦橘超然（MajicFlus）是麦橘推出的基于Flux.1架构的AI模型，专注于生成高质量的人像图像，擅长表现亚洲女性的细腻与美感。模型融合多种技术，能生成逼真的人物摄影风格，细致呈现头发、眼睛、雀斑等微小特征。麦橘超然支持快速生图和专业生图功能，用户基于简单的提示词生成优质作品，同时能进行更精细的控制。模型适用于人像生成，还能生成非人生物和场景，具有广泛的适用性和易用性，为创作…- 0
- 0
-
OmniEdit – 滑铁卢大学等机构开源的通用图像编辑模型
OmniEdit项目简介 OmniEdit是先进的图像编辑技术，通过结合多个专家模型的监督来训练一个通用模型，处理多种图像编辑任务。能处理不同纵横比的图像，七种不同的图像编辑任务，包括对象替换、移除、添加等，支持任意宽高比和分辨率。基于七个专家模型的监督训练确保任务覆盖，用在大型多模态模型评分提高训练数据质量，采用EditNet的新架构，提高了编辑的成功率。OmniEdit在自动评估和人工评估中均…- 0
- 0
-
StyleStudio – 文本驱动的风格迁移模型，能将参考图像的风格与文本提示内容融合
StyleStudio项目简介 StyleStudio是西湖大学AI实验室、复旦大学、南洋理工大学和香港科技大学（广州）联合推出的，文本驱动的风格迁移模型，能将参考图像的风格与文本提示的内容融合。StyleStudio基于三种策略解决风格过拟合、控制限制和文本错位问题：跨模态AdaIN机制增强风格与文本特征整合；基于风格的分类器自由引导（SCFG）支持选择性控制风格元素；及教师模型用在早期生成阶段…- 0
- 0
-
Promptim – AI提示优化库，自动迭代优化、生成最佳配置
Promptim项目简介 Promptim是实验性的AI提示优化库，基于自动化流程提升AI系统在特定任务上的提示效果。用户提供初始提示、数据集和自定义评估器，Promptim能自动运行优化循环，生成更优的提示。这一过程提高了AI任务的性能，支持用人工反馈进一步指导优化，实现更精准的AI系统调优。Promptim的目标是简化AI提示的调整和优化工作，让AI系统更加高效和智能。 Promptim优势介…- 1
- 0
-
MoneyPrinterTurbo – 开源的AI短视频生成工具
MoneyPrinterTurbo项目简介 MoneyPrinterTurbo是开源的AI短视频生成工具，能自动化地根据用户提供的视频主题或关键词生成视频文案、素材、字幕和背景音乐，合成高清短视频。工具支持API和Web界面操作，具备自定义文案、多种视频尺寸、批量视频生成、多语言支持、多种语音合成技术、字幕定制和背景音乐选择等功能。MoneyPrinterTurbo兼容多种AI模型，确保视频素材高…- 1
- 0
-
Qihoo-T2X – 360 AI 研究院和中山大学开源的高效多模态生成模型
QIHOO-T2X项目简介 Qihoo-T2X 是360 AI 研究院和中山大学推出的基于代理标记化扩散 Transformer（PT-DiT）的高效多模态生成模型，Qihoo-T2X引入稀疏代理标记注意力机制，显著降低传统扩散 Transformer 在全局自注意力计算中的冗余性，结合窗口注意力和移位窗口注意力增强细节建模能力。Qihoo-T2X 支持多种任务，包括文本到图像（T2I）、文本到视…- 1
- 0
-
NSFW Detector – 开源 AI 不适宜内容检测工具，支持识别图像、PDF、视频文件
NSFW Detector项目简介 NSFW Detector（Not Safe For Work，简称 NSFW）是开源的检测不适宜内容工具，NSFW Detector能识别图像、PDF、视频文件中的不适宜内容。工具基于Google的vit-base-patch16-224-in21k模型，支持仅CPU推理，无需GPU，可在多数服务器上运行。NSFW Detector基于API提供服务，易于集成…- 1
- 0
-
CogSound – 智谱AI最新推出的音效模型
CogSound项目简介 CogSound是智谱AI最新推出的音效模型，能为无声视频增添动人的音效。 基于GLM-4V的视频理解能力，CogSound能精准识别理解视频背后的语义和情感，为无声视频添加与之相匹配的音频内容，可以生成更复杂的音效，如爆炸、水流、乐器、动物叫声、交通工具声等。模型的推出标志着智谱AI在视频生成领域的技术进步，特别是在提升视频的多模态体验方面，增强视频的沉浸感和真实感。 …- 1
- 0
-
Steamer-I2V – 百度推出的图像到视频生成模型
Steamer-I2V项目简介 Steamer-I2V 是百度 Steamer 团队推出的图像到视频生成模型，通过将静态图像转化为动态视频，展现出卓越的视觉生成能力。模型在 VBench 国际权威的视频生成评测中荣获榜首，基于精准的视觉控制、高清画质以及对中文语义的深刻理解脱颖而出。 Steamer-I2V 细粒度的视频结构化描述语言，能实现像素级的画面控制与电影级的构图效果，支持多模态输入，包括…- 1
- 0
-
Wonder Animation – 视频序列转换成3D动画场景的AI解决方案
Wonder Animation项目简介 Wonder Animation 是 Autodesk 旗下 Wonder Dynamics 推出的创新 AI 技术，Wonder Animation测试版现已上线Wonder Studio。Wonder Animation基于 Video to 3D Scene 技术将视频序列转换成 3D 动画场景，加速动画电影制作。Wonder Animation能处…- 1
- 0
-
Phantom – 字节跳动推出的主体一致视频生成框架
Phantom项目简介 Phantom是字节跳动智能创作团队推出的用在主体一致视频生成（Subject-to-Video, S2V）的框架。基于跨模态对齐技术，结合文本和图像提示，从参考图像中提取主体元素并生成与文本描述一致的视频内容。Phantom基于现有的文本到视频（T2V）和图像到视频（I2V）架构，重新设计了联合文本-图像注入模型，基于文本-图像-视频三元组数据学习跨模态对齐。Phanto…- 1
- 0
-
DiffBrush – 北邮联合清华等机构推出的图像生成与编辑框架
DiffBrush项目简介 DiffBrush是北京邮电大学、清华大学、中国电信人工智能研究所和西北工业大学推出的，无需训练的图像生成与编辑框架，支持用户基于手绘草图直观地控制图像生成。DiffBrush用预训练的文本到图像（T2I）模型，基于颜色引导、实例与语义引导及潜在空间再生等技术，精准控制生成图像的颜色、语义和实例分布。DiffBrush兼容多种T2I模型（如Stable Diffusio…- 0
- 0
-
Deep-Live-Cam – 开源的 AI 实时换脸工具
Deep-Live-Cam项目简介 Deep-Live-Cam 是开源的AI实时换脸工具，用户仅需一张图片即可在视频中实现实时人脸交换。支持 CPU、NVIDIA CUDA、Apple Silicon、Core ML 等多种硬件平台，确保视频处理的流畅性。Deep-Live-Cam 软件内置防滥用机制，遵守法律和伦理规范，提醒用户在使用时需获得被换脸者的同意。 Deep-Live-Cam优势介绍 …- 1
- 0
-
DoraCycle – 新加坡国立大学推出多模态领域适应的统一生成模型
DoraCycle项目简介 DoraCycle 是新加坡国立大学 Show Lab 推出多模态领域适应的统一生成模型，通过两个多模态循环（text-to-image-to-text 和 image-to-text-to-image）实现不同模态间的信息转换与对齐，基于统一生成模型学习的双向映射，以非配对数据进行领域适配训练，无需大量标注数据。模型通过循环端点的交叉熵损失优化，促进自我进化，适应特定…- 1
- 0
-
TextHarmony – 字节联合华东师范推出的多模态生成模型
TextHarmony项目简介 TextHarmony是华东师范大学和字节跳动共同推出的多模态生成模型，擅长理解和生成视觉文本。模型基于Slide-LoRA技术，动态聚合特定于模态和模态无关的LoRA专家，部分解耦多模态生成空间，在单一模型实例中协调视觉和语言的生成。TextHarmony在视觉和语言模态之间实现更统一的生成过程。研究团队推出高质量的图像字幕数据集DetailedTextCaps-…- 1
- 0