会议室里再次陷入了沉默。
一个没有任何机构背景,用着中国大众邮箱,名字极其随意的队伍,直接把当前计算机视觉的最高记录翻了一倍。
这听起来就像是一个拙劣的愚人节玩笑。
但数据偏偏是铁打的事实。
“有没有可能是我们自己团队的谁,不小心把内部测试的某个超前结果传上去了?”李飞飞抛出了第一个假设。
约翰直接摇头。
“不可能,李老师。”约翰苦笑,“我们团队现在最好的模型,昨天晚上刚跑完一轮,TOp-1才刚过30%。连人家的尾灯都看不到。这结果跟我们完全不在一个量级上。”
“那会不会是测试集的标注答案泄露了?”大卫提出了第二个假设,“如果是有人拿到了标准答案,直接把答案改个名字上传,也能得到这个分数。甚至可以故意答错一些,控制在60%左右,避免百分之百太显眼。”
李飞飞立刻看向陈冉。
“陈冉,联系ImageNet项目的数据管理员,调取测试集所在的最高权限访问日志。我要看从发布到现在的所有记录。”
陈冉立刻拿起手机开始打电话。
会议室里的气氛压抑得让人喘不过气。
如果真的是测试集泄露,那整个ImageNet项目的公信力将遭到毁灭性的打击。
十分钟后,数据管理员把日志文件发了过来。
陈冉打开文件,快速浏览。
“没有泄露。”陈冉指着屏幕上的记录,“日志显示,测试集从发布到现在,只有三个经过授权的内部高级账号下载过。而且这三次下载记录,都是在项目启动初期为了做本地环境配置。最近三个月内,没有任何人访问过测试集原始数据所在的安全分区。”
“黑客攻击呢?”大卫追问。
“防火墙没有报警记录。”陈冉说,“而且我们的测试集服务器是不对公网开放的物理隔离节点,想要拿到数据,除非有人亲自跑到机房拔硬盘。”
假设再次被推翻。
“既然不是答案泄露,那这就见鬼了。”约翰双手抱头,“如果不是作弊,那这个正确率意味着什么?”
大卫看着电脑屏幕上的乱码发呆。
“意味着他们用的方法,已经跟我们不在同一个理论框架里了。”大卫说。
“陈冉,你最了解中国那边的情况。”
李飞飞问,“会不会是中国那边找了大量的人力,对着测试集一张一张标注出来的?重赏之下
(本章未完,请点击下一页继续阅读)