李飞飞点赞的NeurIPS新赛道，刚刚公布了第一批数据集&benchmark入围名单

Posted 2021-09-05 QbitAl

博雯 发自 凹非寺
量子位 报道 | 公众号 QbitAI

今年4月份时，NeurIPS 2021曾宣布专门为数据集和基准测试推出一个新Track。

而现在，第一批数据集和基准终于公布了。

这次公布的内容包括一般数据集、NLP方向数据集、仿真环境和数据生成器、元分析和AI公平性、基准这五个方向。

入围的共有62篇论文。

入围的数据集和基准

在一般类的数据集上，共入围11篇：

主要为文本、语言、语音类的NLP数据集方向则有13篇：

仿真环境和数据生成器方向有11篇：

元分析和AI公平性上有7篇：

而最后在基准方面共有20篇：

新赛道规则：第二轮8月27日截止

对这一新Track所提交的材料，除了主会议论文之外，还应该提交补充材料：

像是如何收集和组织数据、其中包含何种信息、如何在合乎道德地使用数据，以及如何提供和维护数据等等。

提交是单盲的，而审查是开放的，

NeurIPS 2021会以主会议的标准进行严格审查。

只是其审查准则会适用于数据集和基准测试。

今年共有两次提交日期，允许连续提交。其中第一轮已截止。

第二轮提交的截止日期在8月27日，10月8日通知论文作者结果：

数据集和基准也需要审查规则

这一新Track是今年4月份，由NeurIPS的数据&基准主席Joaquin Vanschoren宣布的：

消息发出后，李飞飞教授表示赞赏：终于在ImageNet的12年之后见到了这一天。

在此之前，NeurIPS表示，现在社区内更关注算法设计，但往往不能轻易找到好的数据集。

这样，很多算法都只是在没有实际意义，或数据存在偏差的情况下进行评估的。

而在NeurIPS会议中，每年接受的论文中所提出的新的数据集少于5个，专注于在广泛的数据集上对算法进行系统性基准测试的也只有10个。

这也是NeurIPS开辟这一新Track的主要目的，他们表示：

我们建议在NeurIPS开辟一条新的赛道，作为数据和基准测试的孵化器。

它将作为出版物、会谈和海报的场所，也是讨论如何更广泛地改进数据集开发和面向数据的工作的论坛。

公布名单：
https://blog.neurips.cc/2021/08/12/updates-on-the-neurips-2021-datasets-and-benchmarks-track/

提交规则：
https://neurips.cc/Conferences/2021/CallForDatasetsBenchmarks

参考链接：
https://neuripsconf.medium.com/announcing-the-neurips-2021-datasets-and-benchmarks-track-644e27c1e66c