Working toward real-time interactive virtual worlds, across generative AI, diffusion models, computer graphics, and 3D vision. Currently post-training video generation models at Tencent Hunyuan. PhD in AI from Zhejiang University.https://xiangwen-zju.com/zh-CNhttps://xiangwen-zju.com/notes#reward-hacking-in-video/https://xiangwen-zju.com/notes#reward-hacking-in-video/记一下在视频生成上见过的三类 reward hacking，都不是模型"聪明"，而是奖励函数留了口子。 第一类是**静止获胜**。如果奖励模型对运动质量的评分依赖于帧间一致性，那么几乎不动的视频会拿到很高的分。模型很快就会发现这一点，输出趋向于轻微晃动的静态画面。 第二类是**构图套路化**。当美学打分模型偏好某类构图时，生成结果会迅速收敛到那几种构图，不管 prompt 描述的是什么场景。表Thu, 06 Aug 2026 00:00:00 GMT后训练奖励模型https://xiangwen-zju.com/notes#eval-set-rots/https://xiangwen-zju.com/notes#eval-set-rots/一个反复出现的现象：同一个评测集用了几个月之后，它的区分度会明显下降。 原因不难理解。评测集一旦固定，团队的所有优化都会不自觉地朝它对齐：挑数据时会想着它，调参时会看着它，连讨论问题的方式都会被它框住。几个月后，模型在这个集合上的表现和它在真实分布上的表现就脱钩了。 这不是过拟合评测集那么简单，过拟合至少还是在拟合。更麻烦的是**评测集定义了团队认为"什么算好"**，它没有覆盖的维度会在讨论中Tue, 28 Jul 2026 00:00:00 GMT评测