-
Muse – 微软研究院推出的生成式AI模型
Muse项目简介 Muse是微软推出的首个用在游戏创意生成的生成式AI模型，基于“World and Human Action Model”（WHAM）。Muse能生成游戏视觉效果和控制器操作，基于学习人类玩家的游戏数据（如图像和操作指令）模拟真实的游戏玩法序列。核心能力包括生成连贯一致的游戏画面、展现多样化的游戏路径以及将用户修改融入生成内容中。Muse基于WHAM Demonstrator提供…- 0
-
The Language of Motion – 斯坦福李飞飞团队推出的统一多模态语言模型
The Language of Motion项目简介 The Language of Motion是斯坦福大学李飞飞团队推出的多模态语言模型，能整合人类动作中的言语和非言语语言。模型能处理文本、语音和动作数据，生成对应的目标模态，对于创建自然交流的虚拟角色至关重要。The Language of Motion在共同语音手势生成任务上展现卓越的性能，且相较于传统模型，训练时需要的数据量大大减少。模型…- 3
-
AI优质视频创作案例AI数字人芭比对话奥本海默：波伏娃的“他者”与福柯的“社会规训”
关于奥本海默与芭比的这一期AI Talk节目，在上线后得到的反响有点出乎意料。在抖音上的数据甚至超过AI Talk第一期乔布斯和马斯克的对话。 诚然这中间有两部电影热度加持的部分，但大部分朋友还是焦点在了关于父权的讨论上。 有朋友在留言里说，奥本海默和父权有什么关系?这不是硬蹭流量吗? 但如果您仔细观看了《芭比》的全篇，大概也能感受到Greta Gerwig想表达的内容是要超出女性主义本身的。 这…- 3
-
MetaHuman-Stream – 实时交互流式AI数字人技术
MetaHuman-Stream项目简介 MetaHuman-Stream 是一项前沿的实时交互流式AI数字人技术，集成了 ERNerf、MuseTalk、Wav2lip 等多种先进模型，支持声音克隆和深度学习算法，确保对话流畅自然。通过全身视频整合和低延迟通信技术，提供沉浸式体验，适用于在线教育、客服、游戏和新闻等多个场景，推动数字人技术在实际应用中的创新和发展。 MetaHuman-Strea…- 2
-
Clapper – 免费开源的可视化AI视频编辑工具
Clapper项目简介 Clapper 是一款免费开源的可视化AI视频编辑工具，由 HuggingFace 的AI前端工程师 Julian Bilcke 开发。集成多种生成式 AI 技术，用户通过交互式、迭代和直观的过程使用 AI 创建视频，无需专业的电影制作或 AI 工程技能。在 Clapper 中通过调整高级抽象概念，如角色、地点、天气等，来迭代优化故事。Clapper 的导演模式，使用者可以…- 2
-
VideoAgent – 斯坦福联合多所研究机构推出自改进的视频生成系统
VideoAgent项目简介 VideoAgent是一种自改进的视频生成系统，由斯坦福大学、滑铁卢大学、DeepMind等机构的研究人员共同推出。根据图像观察和语言指令生成视频计划，转换为机器人控制动作。VideoAgent基于自我条件一致性方法细化视频计划，用预训练的视觉-语言模型（VLM）反馈进行迭代优化。在执行过程中，VideoAgent收集环境数据进一步提升视频生成质量，有效减少视频中的幻…- 2
-
HiCo – 360 AI研究院推出的布局可控AI绘画模型
HiCo项目简介 HiCo是360 AI研究院推出的基于扩散模型的层次化可控布局到图像生成模型，HiCo基于多分支结构设计，实现对对象位置和文本描述的精确控制。HiCo的关键特点在于进行空间解耦，有效地处理复杂布局，减少对象缺失和视角冲突等问题。HiCo在自然场景的多目标可控布局生成中表现出色，引入HiCo-7K基准测试集。HiCo模型展示了与快速生成插件（如LoRA、LCM）的兼容性，能生成高分…- 2
-
SurfSense – 开源AI研究助手，个人知识库与全球数据源无缝链接
SurfSense项目简介 SurfSense 是开源的 AI 研究工具，类似于 NotebookLM 和 Perplexity，具备更强的扩展性。工具能与多种外部数据源（如搜索引擎、Slack、Notion、YouTube、GitHub 等）集成，支持用户上传多种格式的文件，将内容整合到个人知识库中。SurfSense 提供强大的搜索功能和自然语言交互能力，用户能快速查找和引用保存的内容。 Su…- 2