Replicate Intelligence #1
欢迎来到某机构的每周简报！每周，我们将为您带来最新的开源AI模型、工具和研究进展。人们正在创造很酷的东西，我们希望与您分享。闲话少说，有请我们的驻场黑客deepfates，带来他对本周AI领域的无过滤看法。
编者按
大家好，我是来自互联网的deepfates。他们给了我邮件列表的管理权限，并说我可以在上面做些实验。
这是我的想法：您正试图用AI做很酷的事情。您不需要更多关于闭源AI平台的消息了。大家已经都在谈论那些了。
您想知道AI领域新颖有趣的东西，那些在构建过程中可能错过的DIY黑客内容。
好吧，在Replicate，了解这些正是我们的工作。
因此，我将挖掘我们团队成员和社区的深厚知识，为您带来您真正想了解的所有新闻，汇总在一次每周更新中。如果您只想要更新日志，我相信您会直接跳过其他部分。
如果您喜欢，特别是如果您不喜欢，请回复并告诉我。我会在站会时阅读回复，直到他们让我停止为止。
Andrej Karpathy
- 将预训练模型转换为完全不同的架构
某研究中心的研究人员找到了一种方法，可以将现有的语言模型从Transformer架构（如GPT）转换为循环神经网络（如Mamba或RWKV）。
循环网络具有与当前Transformer模型不同的特性：运行效率更高，但训练更难。这允许您从具有其全部现有知识的预训练Transformer模型开始构建RNN。
这个过程被称为循环注意力的可扩展上升训练（SUPRA），或线性化。他们发布了使用SUPRA上升训练的Mistral RNN，以及您可以用来自己线性化模型的代码。
酷炫工具
- 开源智能眼镜
最近每个人都在宣布智能眼镜。某机构、某中心，现在……Based Hardware?
OpenGlass开源项目的构建成本为20美元，并在上周的某机构Llama 3黑客松中获得了第一名。它使用moondream视觉模型来理解图像流，并使用Llama 3来谈论这些图像。一个小型摄像头和电池可以附加到任何眼镜框上。
研究动态
-
通过字典学习引导和解释大语言模型
某机构发表了一篇新论文，标题颇具讽刺意味地难以阅读：《扩展单义性：从Claude 3 Sonnet中提取可解释的特征》。
这项研究扩展了他们之前在解释和引导语言模型方面的工作，使其适用于中等大小的Claude模型。
他们训练了一个较小的模型（稀疏自编码器）来查看语言模型的激活状态，并找到可以通过调高或调低来改变模型输出的共同特征。这种策略被称为字典学习，因为模型学习了一组有限的、在不同语言和上下文中一致的“概念”。
其中一个发现是一个与金门大桥相对应的特征。他们发现，当将这个特征调高10倍时，Claude真的认为自己就是那座桥。这导致了一些其他令人惊讶的桥段揭示。最棒的部分是：他们让我们和“金门大桥Claude”对话了！
您可能还记得最近在“控制向量”和“表示工程”方面的类似工作。值得注意的是，这些内容在该机构的论文中并未提及，这引起了Twitter和LessWrong上的一些讨论。如果您想对开源模型尝试类似的事情，用于控制向量的repeng仓库是MIT许可的。 -
关于用户界面密度的长篇阅读
Matthew Ström在某机构领导设计团队。在这篇文章中，他讨论了用户界面密度在不同维度上的表现：视觉空间，以及信息密度、每个功能的设计决策数量和时间密度（更快的界面感觉更密集）。最终目标是在最少的时间和空间内为用户提供最大的价值。
更新日志
-
使用GitHub Actions推送模型
您知道可以使用GitHub Actions工作流持续推送您的模型吗？只需在您的GitHub仓库中放置一个YAML文件即可。我们撰写了一个指南，带您完成整个过程。
如果您想玩点花样，甚至可以使用这些工作流为每个拉取请求部署一个短暂的临时暂存模型。Replicate现在拥有创建和删除模型的API，因此所有操作都可以在用户层面完成。
--- zeke -
什么是语义搜索？一个视频
Charlie和Zeke录制了一个简短的演示，展示使用某机构的ImageBind模型将图像搜索添加到Web应用程序是多么容易。 -
RSS和Atom订阅源
现在为博客、更新日志和服务状态更新提供了订阅源。订阅以了解最新动态：- 博客：RSS | Atom
- 更新日志：RSS | Atom
- 状态：RSS | Atom
到此为止
致读到这里的唯一一个人：您觉得怎么样？
您想要更多的研究内容吗？更多的工具介绍？更奇怪的推文？还是更少的烦人问题？或者恋爱建议？
我这是为您做的。告诉我您想要什么。
--- deepfates
更多精彩内容 请关注我的个人公众号 公众号（办公AI智能小助手）或者 我的个人博客 https://blog.qife122.com/
对网络安全、黑客技术感兴趣的朋友可以关注我的安全公众号（网络安全技术点滴分享）
公众号二维码
公众号二维码
