MIT新晋副西宾何恺明神秘顾客调查法是什么，新作崭新出炉：

对准一个横亘在AI发展之路上十年之久的问题：数据集偏差。

该运筹帷幄为何恺明在Meta时间与刘壮合营完成，他们在论文中指出：

尽管昔时十多年里业界为构建更大、更各样化、更全面、偏差更小的数据集作念了许多勤勉，但当代神经收罗似乎越来越善于”看穿”并愚弄这些数据都集掩盖的偏差。

这不禁让东谈主怀疑：咱们在遗弃数据集偏差的来回中，简直取得了见效吗？

数据集偏差之战，在2011年由知名学者Antonio Torralba和Alyosha Efros提倡——

Alyosha Efros恰是Sora两位一作博士小哥（Tim Brooks和William Peebles）的博士导师，而Antonio Torralba也在本科时间指点过Peebles。

其时他们发现，机器学习模子很容易“过拟合”到特定的数据集上，导致在其他数据集上发达欠安。

十多年昔时了，尽管咱们有了更大、更各样化的数据集，如ImageNet、YFCC100M、CC12M等，但这个问题似乎并莫得得到根底处置。

反而，跟着神经收罗变得越来越浩繁，它们“挖掘”和愚弄数据集偏差的时刻也越来越强了！

为了分析这个问题，何恺明团队联想了一个编造的”数据集分类”任务。

听名字你可能就猜到了：给定一张图像，模子需要判断它来自哪个数据集。通过看模子在这个任务上的发达，就不错了解它们捕捉数据集偏差的时刻。

当代AI松驰看穿不同数据集

在本质中团队发现，各式当代神经收罗架构，如AlexNet、VGG、ResNet、ViT等，在数据集分类任务上发达出惊东谈主的一致性：它们的确都能以特殊80%的准确率永别不同数据集的图像！

更令东谈主吃惊的是，这个发目下各式不同的要求下都特地适应：

       公共文明指数是描述市民文明素质发展状况、评价市民文明素质发展水平和群众性精神文明创建工作成效的重要工具。包括城市公共环境、公共秩序、志愿服务、文明旅游等项目内容。

2. 分析评价结果：深圳神秘顾客（SMS）公司对神秘顾客的评价结果进行深入分析，找出餐厅在服务、环境、菜品等方面的优缺点，协助餐饮管理者制定相应的改进措施。

无论是不同的数据集组合、不同的模子架构、不同的模子尺寸、不同的磨砺数据量，如故不同的数据增强要津，神经收罗恒久能松驰”一眼看穿”图像的数据集开始。

那么，神经收罗是奈何作念到这极少的呢？是靠单纯的牵挂，如故学到了一些更普适的法例？

为了揭开答案，团队作念了一系列对比本质。他们发现，要是把不同的数据集迅速混在一都，宁波神秘顾客暗访调查执行公司神经收罗就很难再永别它们了（准确率着落到了33%）。这诠释，神经收罗并不是在单纯地牵挂每一张图像，而是简直学到了一些数据集独有的花式。

更真理的是，即使在自监督学习的树立下，神经收罗也展现出了惊东谈主的”数据集辨识力”。在这种树立下，模子在磨砺时并莫得效到任何数据集的标签信息，但当在这些自监督学习到的特征上磨砺一个浅陋的线性分类器时，它依然能以特殊70%的准确率永别不同的数据集！

通过这一系列的本质，何恺明、刘壮等东谈主的运筹帷幄给咱们敲响了警钟：尽管这十年咱们一直在勤勉构建更大、更各样化的数据集，但数据集偏差这个问题似乎并莫得得到根底处置。违反，当代神经收罗越来越善于愚弄这些偏差来获取高准确率，但这可能并不代表它们真确学到了鲁棒、普适的视觉办法。

论文的临了，作家号召统统这个词AI社区重新扫视数据集偏差这个问题，并重新念念考如安在算法和数据两个层面上来派遣这一挑战。

CVPR最好论文作家的通力合营

本文是何恺明在Meta时间，与Meta运筹帷幄科学家刘壮合营完成。

目下，何恺明仍是适应在MIT上岗，担任电气工程与运筹帷幄机科学系的助理西宾。他的“开学第一课”开课即火爆，在youtube上仍是有2.9万的播放量。

和何恺明通常，刘壮本科毕业自清华，况且亦然CVPR最好论文奖得主——他是CVPR2017最好论文DenseNet的第一作家。

2017年，刘壮从清华姚班毕业，参加加州大学伯克利分校攻读博士学位，师从Trevor Darrell，是贾扬清的同门师弟。

博士毕业后，刘壮参加Meta AI Research职责。在此之前，他仍是在Meta实习了一年多时分，时间和谢赛宁合营，发表了ConvNeXt。