Remoroo:通宵自主研究代码,验证位每字节降低 31%,结果可复现!

张开发
2026/4/19 10:15:32 15 分钟阅读

分享文章

Remoroo:通宵自主研究代码,验证位每字节降低 31%,结果可复现!
自主研究实例3 月 31 日的 remoroo 会话中进行了自主研究。读取 program.md 后基线验证位每字节val_bpb为 2.2396提交编号 9138841每个实验时间预算 20 分钟。进行 30 次实验保留 8 次舍弃 22 次验证位每字节从 2.2396 降至 1.5484降低 31%结果已验证且可复现。手动机器学习研究与 Remoroo 的对比没有 Remoroo 的情况手动进行机器学习研究操作如下$ vim train.py 调整学习率 learning_rate3e-4$ uv run train.py 等待 60 分钟… 验证位每字节val_bpb2.24无变化 尝试批量大小 batch_size 为 2^15… 再等待 60 分钟… 损失值为 NaN。$ git checkout .两小时过去毫无进展且无结果判定、结构化流程和验证依据。使用 Remoroo 的情况使用 Remoroo 时运行命令 $ remoroo run --local program.md完成 30 次实验保留 8 次舍弃 22 次验证位每字节从 2.24 降至 1.55结果已验证且可复现用户可在睡梦中等待完成。Remoroo 工作原理撰写规范文件如 program.md让 Remoroo 指向该文件它会在夜间运行实验。规范文件 program.md 有时间预算如 1200指标为验证位每字节val_bpb涉及文件 train.py含模型、优化器、训练循环评估 prepare.py 用于评估验证位每字节evaluate_bpb且固定不可修改。流程为 P - 规划、E - 编辑、T - 训练、E - 评估验证位每字节val_bpb并与基线对比。train.py 代码改动如下- ATTN_PATTERN L * DEPTH ATTN_PATTERN SSSL示例计费以积分俳句小时单位计算与模型层级有关详见 [定价](/pricing)。经过验证的结果学习率调度搜索验证位每字节val_bpb从 2.24 降至 1.99降低 11%。train.py 进行 14 次实验保留 6 次结果已验证。架构搜索验证位每字节val_bpb保持 1.55 不变。采用带状注意力机制SSSLtrain.py 进行 30 次实验保留 8 次结果已验证。多目标优化验证位每字节val_bpb加内存的 3 项约束条件全部通过。train.py 进行 22 次实验保留 5 次结果已验证。可 [查看所有基准测试 →](/benchmarks)。Remoroo 与代码编写代理的区别代码编写代理Remoroo时间尺度数小时至通宵任务范围进行 30 次实验的搜索执行方式沙盒化、有时间预算指标评估固定评估工具保留/舍弃决策基于指标自主决策失败处理基于具体情况恢复输出结果经过验证的补丁 验证依据可复现性工件重放 git计费方式以积分俳句小时单位计算运行时长Remoroo 不是靠猜测而是有验证依据。30 秒即可完成安装免费套餐包含每月运行积分详见 [定价](/pricing)。安装命令为 $ pip install remoroo还可安装 CLI 并 [阅读文档 →](/docs)。

更多文章