机器学习免费跑分神器:集成各大数据集,连接GitHub就能用,还能验证论文结果

量子位 量子位
栗子 鱼羊 发自 凹非寺
量子位 报道 | 公家号 QbitAI

搞机械进修的小伙伴们,免不了要在各类数据集上,给AI模型跑分。

[好文分享:www.tt44.com]

如今,Papers with Code (谁人以论文搜代码的神器) 团队,推出了主动跑分办事,名叫sotabench,以跑遍所有开源模型为己任。 [原文来自:www.tt44.com]

有了它,不消上传代码,只要保持GitHub项目,就有云端GPU帮你跑分;每次提交了新的commit,系统又会主动更新跑分。还有世界排行榜,能够视察各路强手的成就。

除了支撑各大主流数据集,还支撑用户上传本身的数据集。

也能够看看,别人的论文究竟,究竟靠谱不靠谱。

好比说,fork一下Facebook的FixRes这个项目,设置一下评估文件:

然后一键关系,让Sotabench的GPU跑一下ImageNet的图像分类测试。

就能获得如许的究竟:

Top-1正确率,Top-5正确率,跟论文的究竟有何差距(见注),运行速度,全球排名,悉数尽收眼底。

注:ε-REPR,究竟与论文究竟差距在0.3%以内时打勾,差距≥0.3%且比论文究竟差显露为红叉,比论文究竟好显露为勾+

这个免费的跑分神器,发布一天,便受到强烈迎接:推特点赞600+,Reddit热度270+。

网友纷纷透露:这对斥地者社区来说太有效了!

那么,先来看一下sotabench的功能和用法吧。

用法简洁,海纳百川

团队说,sotabench就是Papers with Code的双胞胎姐妹:

Papers with Code人人很熟悉了,它视察的是论文申报的跑分。能够用来寻找高分模型对应的代码,是个造福人类的对象。

与之互补,sotabench视察的是开源项目,代码实际运行的究竟。能够测试本身的模型,也能验证别家的模型,是不是真有论文说的那么强。

它支撑跟其他模型的对比,支撑查察速度和正确率的弃取情形。

那么,sotabench怎么用?简洁,只要两步。

第一步,先在内陆评估一下模型:

在GitHub项目的根目录里,建立一个sotabench.py文件。里面能够包含:加载、处理数据集和从中得出展望所需的逻辑。每提交一个commit,这个文件都邑运行。

然后,用个开源的基准测试库来跑你的模型。

这个库能够是sotabench-eval,这个库不问框架,里面有ImageNet等等数据集;也能够是torchbench,这是个PyTorch库,和PyTorch数据集加载器搭配食用更简洁。

一旦成功跑起来,就能够进入下一步。

第二步,保持GitHub项目,sotabench会帮你跑:

点击这个按钮,连到你的GitHub账号,各类项目就展现了。选择你要测试的谁人项目来保持。

连好之后,系统会主动测试你的master,然跋文录官方究竟,一切都是跑在云端GPU上。

测试情况是凭据requirement.txt文件设置的,所以要把这个文件加进repo,让系统捕获到你用的依靠项。

此后,每当你提交一次commit,系统都邑帮你从新跑分,来确保分数是最新的,也确保更新的模型依然再工作。

如许一来,模型出了bug,也能实时知晓。

若是要跑别人家的模型,fork到本身那边就好啦。

今朝,sotabench已经支撑了一些主流数据集:

列表还在持续更新中,团队也在盛情邀请各路俊杰,一同充实benchmark人人庭。

既支撑建立一个新的benchmark,也支撑为现有benchmark添加新的实现。

你能够给sotabench-eval或torchbench项目提交PR,也能够直接建立新的Python包。

一旦预备停当,就在sotabench官网的论坛上,发布新话题,团队会把你的benchmark加进去的:

好评如潮

如许的一项办事推出,网友们纷纷点赞,好评如潮,推特点赞600+。

有网友透露:

太棒了!对刚入门的新手来说,数据集获取、预处理和评估的主动化和尺度化很有效。

经由剖析分歧模型及其超参数究竟,来评估这些模型,自己是挺难题的一件事,你得在各类论文中查阅大量的非构造化数据。有了这个,这件事就轻松多了。(部门意译)

很多网友对这个项目进行了友好的商量及建议,而斥地人员也在线积极回应。

好比这位网友建议:能在每次提交的时候申报模型的超参数吗?

作者很快复原说:英雄所见略同。下次更新就加上!

而且,他们还考虑在未来的更新中,让使用者把链接添加到生成模型的练习参数中。

传送门

sotabench官网:
https://sotabench.com/

基准测试库通用版:
https://github.com/paperswithcode/sotabench-eval

基准测试库PyTorch版:
https://github.com/paperswithcode/torchbench

作者系网易新闻·网易号“各有立场”签约作者


大会启幕!预见智能科技新将来

量子位MEET 2020智能将来大会启幕,将联袂精良AI企业、卓越科研人员呈现一场高质量行业盛会!详情可点击图片:


榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、贸易冲破人物、最具立异力产物3大奖项,并于MEET 2020大会揭榜,迎接精良的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

喜欢就点「悦目」吧 ! 

量子位微信号:QbitAI扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 个体工商户如何注册需要哪些条件(个人独资企业与个体工商户

    本月征期要进行第一季度预缴,增值税改革新政正式生效,发票领用大变,工商年报,企业年度汇算清缴数不过来了。各位,在这么紧张的时候,要

  2. NO.2 在家工作有哪些软件(十大适合宝妈做的工作)

    那老师今天就给大家列举几种吧,看看有没有适合你的。 第1种:媒体写手 现在很多网络个人媒体都在招写手,差不多写一篇原创稿子1000字到1500字的

  3. NO.3 常用谚语大全100条(老祖宗的200句实话)

  4. NO.4 黄芪泡水喝的功效与作用禁忌(黄芪片泡水喝效果好吗)

    曾在网上广为流传的神仙粥,其实就是用黄芪与粳米制作而成,而黄芪与粳米的确是补中上品。提到黄芪这个药,人们可能并不是特别熟悉,但是黄

  5. NO.5 厦门航空官网选座位电话(第一次乘坐“厦门航空”是什么样的

    不过对于已经飞过100多次的人来说,也吐槽过有的航空公司,不过我想说的是四川航空和厦门航空,是我最喜欢的航空公司。 四川航空的飞机餐在国

  6. NO.6 海尔中央空调怎么样(海尔中央空调使用教程)

    据《空调销售》监测的数据显示,2019年上半年,中国中央空调行业下滑4.8%,也是近三年来首次出现负增长。 不可否认,随着市场规模日渐饱和以及

  7. NO.7 书法字典在线查询系统转换(书法值得每个中国人用一生修行)

    书法是中国艺术核心的核心,同样,书法是中国文化以及个人修养相融合彼此交融践行的艺术形式,她,可以呈现每个人最真实的修行程度,因为字

  8. NO.8 红盾网查询营业执照号(红盾网怎么下载公司章程)

    足不出门的感觉简直不要太爽 那你一定离不开网络了吧~ 知道你离不了网络 于是我们就为你准备了这个

Copyright2018.天天资讯网资讯站,让大家及时掌握各行各业第一手资讯新闻!