01
英伟达开源 AI 玩游戏模型
NitroGen 是英伟达开源的项目,让 AI 像人一样玩游戏。
开源一两周就有 1.2K 的 Star 了。
它不是那种只能玩特定游戏的脚本,而是一个通用的游戏大模型。
它的核心逻辑非常有意思:它像人类玩家一样,只看屏幕画面,然后决定手柄该怎么按。
更有趣的是它的训练方式。团队没有去对接成百上千个游戏的 API,而是直接利用了互联网上依然存在的海量游戏视频来进行行为克隆。
它通过看别人玩游戏学会了操作,经过训练后,它甚至能适应它从未见过的游戏。
目前这个项目已经开源了代码和模型,支持在 Windows 上运行。
只要你打开游戏,运行这个 Agent,它就能通过捕捉屏幕画面来接管操作。
开源地址:https://github.com/MineDojo/NitroGen02
Meta 推出音频分割模型
Meta 之前的 Segment Anything Model 在图像分割领域可以说是杀疯了,现在他们把这套魔法带到了音频领域。
SAM-Audio 的功能简单说就是音频版的抠图。
你给它一段嘈杂的录音,告诉它我要听里面的狗叫声或者把吉他声分离出来,它就能精准地把目标声音提取出来,顺便把剩下的背景音也分离开。
它的交互方式非常灵活,不光支持文字指令,你甚至可以给它看一段视频,框选视频里的某个人或物体,它就能识别对应的声音并提取出来。
此外,它也支持通过时间戳来定位声音。这背后的技术利用了音频-视觉感知编码器,让模型能理解声音和画面、文本之间的语义联系。
对于做视频剪辑、声音设计或者音频修复的人来说,这简直是神器。
开源地址:https://github.com/facebookresearch/sam-audio03
阿里推出图层 AI 生成模型
Qwen-Image-Layered 生成的不是一张图,而是自带图层的图像,就像是你直接得到了一个 PSD 源文件。
这个模型能把图像拆解成透明的 RGBA 层。比如生成一张森林里的女孩,它会把女孩放在一层,身后的树木一层,天空又是一层。
你可以随意移动、缩放或者删除画面里的物体,而不会在背景上留下一个难看的黑洞,因为模型已经把被遮挡的背景部分也补全了。
这对于设计师和二次创作者来说太重要了。
它让 AI 生成的内容瞬间具备了极高的可编辑性。你不仅可以用它生成新的分层图像,甚至可以把现有的普通图片丢进去,让它帮你拆成图层。
开源地址:https://github.com/QwenLM/Qwen-Image-Layered04
谷歌开源
之前推荐过,这个谷歌开源的项目也登上过每周开源热榜。Google 定义了一套标准,让 AI 不仅仅会说话,还能变出用户界面 UI。
AI 发一串 JSON 数据告诉你的手机或浏览器:给我渲染一个日历组件,外加一个确认按钮。
你的客户端收到指令后,就会用原生的组件把这个界面画出来。
这样做既保证了界面的美观和交互体验,又避免了直接执行 AI 生成的代码所带来的安全风险。
这个项目的牛逼之处是把 AI 的思考和界面的展示解耦了。
未来的聊天机器人可能不再只是一个对话框,而是一个能根据你的需求随时变身的全能 App?
开源地址:https://github.com/google/A2UI05
阿里开源语音交互大模型
Fun-Audio-Chat 就是阿里通义团队开源的项目。
主打的是低延迟和自然对话,不像传统的语音交互那样有漫长的等待。
技术上,它搞了个双分辨率的架构,简单说就是用粗粒度的特征来处理语义,用细粒度的特征来保证音质,这样既省算力又能跑得快。
而且它通过 Core-Cocktail 训练法,在保留了强大的文本理解能力的同时,还能听懂你说话的语气,甚至在回复时带上相应的情感。
它可以支持语音打断、甚至理解非语言的声音,比如笑声啥的。
对于想要开发实时语音聊天应用、客服机器人或者虚拟伴侣的开发者来说,这个开源项目提供了一套非常接近商业级效果的现成方案。
开源地址:https://github.com/FunAudioLLM/Fun-Audio-Chat06
点击下方卡片,关注逛逛 GitHub
这个公众号历史发布过很多有趣的开源项目,如果你懒得翻文章一个个找,你直接关注微信公众号:逛逛 GitHub ,后台对话聊天就行了: