测试集泄露：很多人不是故意作弊，只是在反复偷看答案

测试集泄露是过拟合里最隐蔽的一类问题，因为很多研究者并没有主观上想作弊。他们只是把策略先在训练集上调好，再拿测试集看一下；结果不满意，于是回去微调参数；调完后再来测试集看一次；如此反复几轮，直到测试集结果也变好为止。问题在于，测试集原本唯一的价值，就是代表一段模型从未见过的“未来”。一旦它参与了参数决策，它就不再是测试集了。

这类污染最容易发生在认真研究的人身上，因为他们会把“继续优化”视为负责任的表现，却忽略了优化依据本身已经来自测试结果。每多看一次测试集、每根据它改一次参数，模型就更了解这段数据，最终得到的不是更强的泛化能力，而是更熟悉这份答案纸的能力。这也是为什么很多策略在研究阶段似乎已经通过了完整流程，实盘却仍然快速失真，因为它真正见到的未来数据，才第一次对它提出没有被污染的检验。