直播里一条广告刚播完,系统既要尽快知道,又不能因为重复上报而多算一次。这个结果还要同时送给频控、计费、监测伙伴和报表。Netflix这次公开的改造,正是在解决这类“又快又准”的归集难题。
客户端上报的遥测——设备自动记录的播放、曝光等行为——最初只有一个不透明标记和发生时间,单独看几乎没有业务含义。Ads Event Publisher会把它补全为具体活动、素材、价格和广告时段,再按统一的数据契约发布:也就是让各个下游对字段含义和变更规则采用同一套约定。
据Netflix Technology Blog介绍,这次最关键的一步,是把原先的数据库查询换成Apache Flink中的实时流式关联:系统让持续到达的广告事件与对应上下文在数据流中直接匹配,并用有状态流处理保存关联所需的信息。Netflix称,这既让管线能够支撑直播规模,也移除了关键路径上的一项数据库依赖;整个高流量管线的核心引擎替换没有停机。文章还提到,新架构同时覆盖去重和更丰富的数据字段,但所给材料未披露延迟、吞吐量或准确率等量化结果。