一条数据管线显示“成功”,不等于它真的干完了活:程序可能准时结束,却只处理了几行数据,或意外调用了大量 API。管线编排工具 maestro 1.4.0 因此加入自定义指标,让监控从“跑了多久、成没成功”进一步回答“实际做了多少事”。
使用者可在管线内部调用 update_metric(),记录处理行数、读取字节数、API 调用次数等单一数值。maestro 会自动把指标归到当前管线和本次运行;get_metrics() 则返回普通数据表,列出管线名、运行编号、指标名和数值,方便继续汇总或写入监控系统。一个关键设计是,这些指标在旁路记录,不会混进管线返回值,也不会沿 DAG——按依赖关系连接的任务流程——传给下游。
指标按每次执行分别保存,同一次执行中若重复写入同名指标,则以最后一次为准。它们只在 run_schedule() 调度运行时生效;耗时和成败仍由原有接口提供。