-
s1 – 斯坦福和华盛顿大学推出低成本、高性能的AI推理模型
s1项目简介 s1是斯坦福大学和华盛顿大学的研究团队开发的低成本、高性能的AI推理模型。模型通过“蒸馏”技术从谷歌的Gemini 2.0 Flash Thinking Experimental模型中提取推理能力。研究人员仅使用1000个精心策划的问题及其答案进行训练,训练成本不到50美元,训练过程耗时不到30分钟。S1模型在数学和编程能力测试中表现优异,与OpenAI的o1和DeepSeek R1…- 0
- 0
-
NanoFlow – 优化大语言模型推理吞吐量的服务框架
NanoFlow项目简介 NanoFlow 是一个高性能的服务框架,专为大型语言模型(LLMs)设计,以提高模型的推理吞吐量。它通过在单个设备内部并行使用计算、内存和网络资源,优化了模型的推理过程。并行处理机制使得 NanoFlow 能同时处理更多的请求,并且保证快速响应,从而显著提升了系统的整体性能和用户体验。 NanoFlow优势介绍 提高推理吞吐量:NanoFlow 的核心目标是最大化模型的…- 0
- 0
-
亚马逊计划在北卡罗来纳州投资100亿美元扩展AI基础设施
亚马逊近日宣布,将在北卡罗来纳州进行一项重大的投资,预计总额高达100亿美元,旨在扩展其数据中心基础设施,以支持人工智能和云计算技术的发展。这一举措不仅体现了亚马逊在技术领域的雄心,也将为当地经济带来积极影响。 根据公司的声明,这项投资将直接创造至少500个高技能的就业机会,同时还将为亚马逊网络服务(AWS)数据中心的供应链支持数千个其他工作岗位。这样的发展将进一步推动当地科技行业的繁荣,同时吸引…- 0
- 0
-
TEN Agent – 开源的实时多模态 AI 代理框架
TEN Agent项目简介 TEN Agent是集成OpenAI Realtime API和RTC技术的开源实时多模态AI代理框架。TEN Agent能实现语音、文本、图像的多模态交互,具备天气查询、网络搜索、视觉识别、RAG能力,支持高性能的实时通信,具备低延迟的音视频交互能力。TEN Agent支持多语言和跨平台操作,支持开发者基于模块化设计轻松扩展功能,如集成视觉识别和RAG能力。TEN A…- 1
- 0