原文地址
现在的AI发展到什么水平了？我们总说“超越人类水平”，有没有一个量化的标准，来让我们理性的认识AI发展水平，刺破火热AI的迷雾？电子前沿基金会 EFF正在致力于这一方向研究。从近期微软宣布语音识别错误率降至5.1%，与人类水平相当谈起，这篇文章将介绍目前AI领域最为知名的发展水平衡量标准，涉及计算机视觉、文本理解、语音识别、翻译、游戏等多个方向。包括ImageNet、CIFAR-10、COCO等多个近年来受到广泛关注的数据集以及取得最好成绩的模型的介绍。
微软上周宣布，在语音转文字上，他们的软件取得了新的突破。在一个标准的电话语音通话数据库中，微软的系统的识别错误率为：每20个单词只有1个错误，这与人类的水平相当。
在一系列被人们认为是能证明人工智能的进步正在逐步加速，将大大促进经济增长的证据中，这一结果是最新的一例。
一些软件已经被证明在识别图像中的汽车或猫等对象上能比人做得更好，谷歌的AlphaGo软件已经战胜了多个围棋冠军 ，此前这被认为是需要十年或以上的时间才能实现的。各大公司都急切地希望基于这些进步获得发展，在各家企业的财报电话会议上，AI 被提及的次数更是呈现指数级的增长。
现在，一些AI观察者正在尝试制作更加精确的图，以展示这一技术是如何快速发展的，以及进步的速度如何。通过在不同的领域衡量AI的进步，他们希望能刺破AI泡沫和迷雾。这些项目致力于给予研究者和政策制定者一个更加清晰的视角，让他们能以最快的速度发现领域内哪些地方在快速进步，以及我们应该如何做出反应。
图像识别软件在2016年的标准ImageNet测试中超越了人类。非营利实验室SRI国际研究员Ray Perrault说：“需要这么做的一部分原因，是因为在关于AI 会走向何方这一话题上，人们有许多疯狂的想法”。他是一个名为“AI指数”的项目的领导者之一，其目的是在年底前发布一份关于该领域进展情况的详细情况。该项目得到了2015年在斯坦福大学建立的“人工智能百年研究”的支持，以检验人工智能对社会的影响。
关于 AI 取得进步的声明几乎是无处不在的，即使是在快餐和牙刷的营销人员口中。另外，对于那些拥有最坚实的研究团队发布的成果，我们也很难去评估。
去年10月，微软就首先公布在语音识别上达到了人类的标准，但是，IBM和众筹公司 Appen紧接着就公开宣称，人类能做到的准确率要比微软所声称的高得多。接下来，微软不得不其错误率再降低12％，以达到“人类水平”(human parity)。
注：微软最开始宣布语音识别错误率为6.3%，一个月后宣布达到5.9%，最近一次宣布错误率已经降到了5.1%。
AI指数：记录AI发展里程碑的10张趋势图
EFF是一家致力于保护公民自由免受数字威胁的电子前沿基金会，他们已经开始自己的努力来衡量和理解AI的进展。这家非盈利组织正在梳理微软等等机构的论文，以组建一个开源的、在线的数据库，以衡量的AI进度和表现。 EFF的首席计算机科学家Peter Eckersley表示：“我们想知道AI真正发展到什么地步了，哪些是紧急的任务，哪些是长期的目标，而不是只知道那些让人们过度兴奋的投机版本的AI。”
EFF的数据库包含了从2012年起图像识别快速进展的图表，还有一个图，是关于让软件理解儿童读物的测试，这能让我们了解人类和机器在这一任务上的差距。 “ AI指数”项目正在努力绘制AI子领域趋势图，将最受研究员关注的趋势表现出来。
视觉
1. ImageNet
视觉我们将介绍最知名的10个标志性事件，首先就是大名鼎鼎的ImageNet，大家都知道，ImageNet在2017年是最后一届了。
EFF的统计表中列出了从2010年到2017年，ImageNet图像识别竞赛中取得突破的情况。2014年的VGG和2015年的MSRA是两大比较有代表性的突破，其中2015年MSRA的突破，正式将机器对图片的识别错误率降到了人类水平。
2. CIFAR-10 和 CIFAR-100
CIFAR-10 数据库包含了6万张32X32的彩色图像，有10个类型，每个类型有6000张图片。共有5万张训练图像和1万张测试图像。CIFAR-100和 CIFAR-10类似，不同点在于，其类型有100个，每个包含600张图片。
CIFAR-10 中，取得达到人类水平的突破也是发生在2015年之后。下面是具体的算法和准确率：
此外，EFF还列出了MNIST 手写识别、MSRC-21、STL-10和SVHN等视觉和图像数据集上几年来的表现，包括算法和论文，详情点击：https://www.eff.org/files/AI-progress-metrics.html#Vision
原文地址
