独立开发者如何控制 AI API 开销：监控、预警、用量分析实战

上个月我的 API 账单比预期高了三倍。排查后发现一个死循环 Agent 在后台跑了一晚上加上调试时忘了切模型加上有几个接口没设 max_tokens。这篇文章是我踩坑之后总结的防御体系。费用失控的四种常见原因在聊解决方案之前先把常见的漏桶找出来。费用超支通常来自这几个地方1. 死循环调用Agent 在某个步骤卡住了然后一直重试。或者有个定时任务配置错误每秒触发一次而不是每分钟。等你发现的时候已经烧了几十美元。# 危险代码没有终止条件的重试whilenottask_complete:resultcall_model(prompt)# 如果 task_complete 永远不变 True无限循环process(result)2. 开发调试时用了生产级模型开发阶段调试一个功能随手用了 Claude Opus 4。prompt 调试来调试去反复修改来回二三十次调用。每次大约 0.02 美元加起来几美元就没了。问题是开发时根本不需要最强模型——你只是在验证输出格式、调试 prompt 结构用 GPT-4o-mini 完全够。3. Prompt 太长上下文窗口塞得太满把整个对话历史都带着、把所有相关文档都粘进去、system prompt 里写了几千字。输入 token 是按量计费的多一倍的上下文就多一倍的费用。很多时候 90% 的上下文对当前问题根本没用但还是白白付了钱。4. 没设 max_tokens模型输出失控有些请求没有明确限制输出长度。模型发挥起来就停不下来洋洋洒洒输出几千字而你其实只需要一句话。# 危险没有 max_tokens 限制responseclient.chat.completions.create(modelanthropic/claude-opus-4,messages[{role:user,content:prompt}]# 没有 max_tokens模型想写多长写多长)控制策略一设置预算上限最直接的防护在额度层面设置上限到了就停。TheRouter 支持在控制台为 API Key 设置月度消费上限。配置方法进入 Dashboard找到你的 API Key点击设置设置月度预算上限比如 $20超出后该 Key 自动停用不会继续扣费建议策略开发 Key上限设 $5够用就行测试 Key上限设 $10生产 Key根据预期用量设置 120%~150%留出余量但防止失控每个功能模块单独一个 Key出问题时能快速定位是哪个模块烧钱控制策略二环境隔离开发用便宜模型建立一个模型环境变量的习惯importos# 根据环境选择模型ENVos.environ.get(APP_ENV,development)MODEL_DEFAULTS{development:{strong:openai/gpt-4o-mini,# 开发时强模型也用 minifast:google/gemini-2.0-flash,code:openai/gpt-4o-mini,},production:{strong:anthropic/claude-opus-4,fast:openai/gpt-4o-mini,code:anthropic/claude-sonnet-4,}}defget_model(capability:str)-str:returnMODEL_DEFAULTS[ENV][capability]使用时# 调用时不写死模型名而是按能力选择responseclient.chat.completions.create(modelget_model(strong),# 开发时自动用便宜模型messages[...])这样在本地开发时所有调用都走便宜模型部署到生产才切换到真正的强模型。费用差异可以达到 10 倍以上。控制策略三代码层面的安全护栏每次调用都加两个参数不能省responseclient.chat.completions.create(modelmodel,messagesmessages,max_tokens512,# 永远设置根据场景调整timeout30,# 超时保护防止请求卡住)对于有重试逻辑的 Agent加硬性限制MAX_ITERATIONS10# 最多执行 10 轮无论如何都停foriterationinrange(MAX_ITERATIONS):resultcall_model(prompt)ifis_done(result):breakifiterationMAX_ITERATIONS-1:logger.warning(达到最大迭代次数强制终止)break控制策略四记录每次调用的 token 消耗OpenAI 格式的 API 响应里有usage字段包含本次调用消耗的 token 数。把这个数据记录下来是后续一切分析的基础。importtimeimportsqlite3fromdataclassesimportdataclassfromtypingimportOptionaldataclassclassCallRecord:timestamp:floatmodel:strtask_type:str# 你自己标注的任务类型如 planning, extractprompt_tokens:intcompletion_tokens:intcost_usd:float# 估算费用# 各模型的定价美元/千 token输入/输出MODEL_PRICING{anthropic/claude-opus-4:(0.015,0.075),anthropic/claude-sonnet-4:(0.003,0.015),openai/gpt-4o:(0.0025,0.010),openai/gpt-4o-mini:(0.00015,0.0006),google/gemini-2.0-flash:(0.000075,0.0003),}defestimate_cost(model:str,prompt_tokens:int,completion_tokens:int)-float:ifmodelnotinMODEL_PRICING:return0.0input_price,output_priceMODEL_PRICING[model]return(prompt_tokens/1000*input_price)(completion_tokens/1000*output_price)classTrackedClient:带费用追踪的 API 客户端包装器def__init__(self,api_key:str,base_url:str,db_path:strusage.db):fromopenaiimportOpenAI self.clientOpenAI(api_keyapi_key,base_urlbase_url)self.db_pathdb_path self._init_db()def_init_db(self):connsqlite3.connect(self.db_path)conn.execute( CREATE TABLE IF NOT EXISTS api_calls ( id INTEGER PRIMARY KEY AUTOINCREMENT, timestamp REAL, model TEXT, task_type TEXT, prompt_tokens INTEGER, completion_tokens INTEGER, cost_usd REAL ) )conn.commit()conn.close()defchat(self,model:str,messages:list,task_type:strunknown,max_tokens:int1024,**kwargs)-str:responseself.client.chat.completions.create(modelmodel,messagesmessages,max_tokensmax_tokens,**kwargs)usageresponse.usage costestimate_cost(model,usage.prompt_tokens,usage.completion_tokens)# 写入数据库connsqlite3.connect(self.db_path)conn.execute(INSERT INTO api_calls VALUES (NULL, ?, ?, ?, ?, ?, ?),(time.time(),model,task_type,usage.prompt_tokens,usage.completion_tokens,cost))conn.commit()conn.close()returnresponse.choices[0].message.contentdefdaily_summary(self)-dict:今日费用汇总connsqlite3.connect(self.db_path)today_starttime.time()-(time.time()%86400)rowsconn.execute( SELECT model, task_type, COUNT(*) as calls, SUM(prompt_tokens) as total_input, SUM(completion_tokens) as total_output, SUM(cost_usd) as total_cost FROM api_calls WHERE timestamp ? GROUP BY model, task_type ORDER BY total_cost DESC ,(today_start,)).fetchall()conn.close()return[{model:r[0],task_type:r[1],calls:r[2],input_tokens:r[3],output_tokens:r[4],cost_usd:round(r[5],4)}forrinrows]# 使用方式clientTrackedClient(api_keyos.environ[THEROUTER_API_KEY],base_urlhttps://api.therouter.ai/v1)resultclient.chat(modelanthropic/claude-sonnet-4,messages[{role:user,content:写一个快速排序的 Python 实现}],task_typecode_generation,max_tokens512)# 查看今日汇总print(client.daily_summary())TheRouter Dashboard 的用量分析如果不想自建TheRouter Dashboard 提供了开箱即用的用量分析按日期查看 token 消耗趋势能看到哪天用量异常飙升按模型拆分每个模型各用了多少费用占比是多少请求日志每条请求的详细记录包括 token 数、响应时间、状态码导出数据支持导出 CSV方便进一步分析对于大部分独立开发者来说Dashboard 的内置分析已经足够日常的成本追踪。自建监控接入 Grafana 可视化如果你想要更精细的监控比如设置告警阈值可以把 SQLite 换成时序数据库再接 Grafana。更简单的方案用 Grafana 的 SQLite 数据源插件直接查 SQLite 文件。基本的监控面板包含三个指标每小时费用折线图能发现费用突增异常按模型分布饼图哪个模型贡献了最多费用每分钟调用次数检测死循环正常业务调用不会每秒几十次告警规则建议每小时费用超过 $2 → 发送通知每分钟调用超过 60 次 → 立即告警可能死循环单次调用 completion_tokens 超过 2000 → 告警可能没设 max_tokens月度成本分析模板每个月月初做一次复盘用这个框架月度 API 成本复盘 [2026年3月] 总费用$XX.XX 按功能模块拆分 - 功能AAPI Key: sk-xxx-A$XX占比 XX% - 功能BAPI Key: sk-xxx-B$XX占比 XX% - 开发调试$XX占比 XX% 按模型拆分 - claude-opus-4$XXXX万 tokens - claude-sonnet-4$XXXX万 tokens - gpt-4o-mini$XXXX万 tokens 异常分析 - 有无单日费用超过日均 2 倍的情况 - 有无模型使用比例明显偏高的情况 优化点 - 哪些用 Opus 的场景可以换 Sonnet - 哪些 prompt 可以缩短 - 有没有不必要的重复调用 下月目标$XX比本月降低 XX%快速检查清单在上线任何涉及 LLM 调用的功能之前过一遍这个清单每次调用都设置了max_tokens每次调用都设置了超时timeout循环逻辑有最大迭代次数限制开发/测试环境使用了便宜模型对应的 API Key 设置了月度预算上限有usage字段的日志记录Prompt 中没有不必要的长上下文做到这七点80% 的费用失控场景都能覆盖掉。小结AI API 费用失控本质上是缺乏可见性导致的——不知道钱花在哪不知道什么时候在异常消耗。解决思路很简单让每一笔费用都可见。把 token 消耗记录下来把预算限制设置好把开发和生产的模型隔离开有了可见性优化就是自然而然的事了。TheRouter 在这里的价值不只是统一 API 格式更是提供了一个集中的费用观测点——所有模型的调用都走一个 API Key在一个 Dashboard 里就能看清全貌。对独立开发者来说这比自己维护多套账单要省心得多。