机器学习免费跑分神器:集成各大数据集,连接GitHub就能用,还能验证论文结果

量子位 量子位
栗子 鱼羊 发自 凹非寺
量子位 报道 | 公家号 QbitAI

搞机械进修的小伙伴们,免不了要在各类数据集上,给AI模型跑分。

[转载出处:www.tt44.com]

如今,Papers with Code (谁人以论文搜代码的神器) 团队,推出了主动跑分办事,名叫sotabench,以跑遍所有开源模型为己任。

[原创文章:www.tt44.com]

有了它,不消上传代码,只要保持GitHub项目,就有云端GPU帮你跑分;每次提交了新的commit,系统又会主动更新跑分。还有世界排行榜,能够视察各路强手的成就。

除了支撑各大主流数据集,还支撑用户上传本身的数据集。

也能够看看,别人的论文究竟,究竟靠谱不靠谱。

好比说,fork一下Facebook的FixRes这个项目,设置一下评估文件:

然后一键关系,让Sotabench的GPU跑一下ImageNet的图像分类测试。

就能获得如许的究竟:

Top-1正确率,Top-5正确率,跟论文的究竟有何差距(见注),运行速度,全球排名,悉数尽收眼底。

注:ε-REPR,究竟与论文究竟差距在0.3%以内时打勾,差距≥0.3%且比论文究竟差显露为红叉,比论文究竟好显露为勾+

这个免费的跑分神器,发布一天,便受到强烈迎接:推特点赞600+,Reddit热度270+。

网友纷纷透露:这对斥地者社区来说太有效了!

那么,先来看一下sotabench的功能和用法吧。

用法简洁,海纳百川

团队说,sotabench就是Papers with Code的双胞胎姐妹:

Papers with Code人人很熟悉了,它视察的是论文申报的跑分。能够用来寻找高分模型对应的代码,是个造福人类的对象。

与之互补,sotabench视察的是开源项目,代码实际运行的究竟。能够测试本身的模型,也能验证别家的模型,是不是真有论文说的那么强。

它支撑跟其他模型的对比,支撑查察速度和正确率的弃取情形。

那么,sotabench怎么用?简洁,只要两步。

第一步,先在内陆评估一下模型:

在GitHub项目的根目录里,建立一个sotabench.py文件。里面能够包含:加载、处理数据集和从中得出展望所需的逻辑。每提交一个commit,这个文件都邑运行。

然后,用个开源的基准测试库来跑你的模型。

这个库能够是sotabench-eval,这个库不问框架,里面有ImageNet等等数据集;也能够是torchbench,这是个PyTorch库,和PyTorch数据集加载器搭配食用更简洁。

一旦成功跑起来,就能够进入下一步。

第二步,保持GitHub项目,sotabench会帮你跑:

点击这个按钮,连到你的GitHub账号,各类项目就展现了。选择你要测试的谁人项目来保持。

连好之后,系统会主动测试你的master,然跋文录官方究竟,一切都是跑在云端GPU上。

测试情况是凭据requirement.txt文件设置的,所以要把这个文件加进repo,让系统捕获到你用的依靠项。

此后,每当你提交一次commit,系统都邑帮你从新跑分,来确保分数是最新的,也确保更新的模型依然再工作。

如许一来,模型出了bug,也能实时知晓。

若是要跑别人家的模型,fork到本身那边就好啦。

今朝,sotabench已经支撑了一些主流数据集:

列表还在持续更新中,团队也在盛情邀请各路俊杰,一同充实benchmark人人庭。

既支撑建立一个新的benchmark,也支撑为现有benchmark添加新的实现。

你能够给sotabench-eval或torchbench项目提交PR,也能够直接建立新的Python包。

一旦预备停当,就在sotabench官网的论坛上,发布新话题,团队会把你的benchmark加进去的:

好评如潮

如许的一项办事推出,网友们纷纷点赞,好评如潮,推特点赞600+。

有网友透露:

太棒了!对刚入门的新手来说,数据集获取、预处理和评估的主动化和尺度化很有效。

经由剖析分歧模型及其超参数究竟,来评估这些模型,自己是挺难题的一件事,你得在各类论文中查阅大量的非构造化数据。有了这个,这件事就轻松多了。(部门意译)

很多网友对这个项目进行了友好的商量及建议,而斥地人员也在线积极回应。

好比这位网友建议:能在每次提交的时候申报模型的超参数吗?

作者很快复原说:英雄所见略同。下次更新就加上!

而且,他们还考虑在未来的更新中,让使用者把链接添加到生成模型的练习参数中。

传送门

sotabench官网:
https://sotabench.com/

基准测试库通用版:
https://github.com/paperswithcode/sotabench-eval

基准测试库PyTorch版:
https://github.com/paperswithcode/torchbench

作者系网易新闻·网易号“各有立场”签约作者


大会启幕!预见智能科技新将来

量子位MEET 2020智能将来大会启幕,将联袂精良AI企业、卓越科研人员呈现一场高质量行业盛会!详情可点击图片:


榜单征集!三大奖项,锁定AI Top玩家

2019中国人工智能年度评选启幕,将评选领航企业、贸易冲破人物、最具立异力产物3大奖项,并于MEET 2020大会揭榜,迎接精良的AI公司扫码报名!

量子位 QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI手艺和产物新动态

喜欢就点「悦目」吧 ! 

量子位微信号:QbitAI扫描二维码关注公众号
爱八卦,爱爆料。
小编推荐
  1. NO.1 优信员工减薪是怎么回事?优信怎么了为什么将员工减薪?

    优信员工减薪,高管相继离职 优信CTO邱慧已经于年后发表内部信宣布离开。对此,优信回应称,邱慧离职后,仍然为优信集团顾问。此外,有传言表

  2. NO.2 2020年疫情个税政策 疫情下个税怎么交?

    2020年疫情个税政策 疫情下个税怎么交? 单位发放的复工防疫口罩,计入工资扣税吗? 参与抗疫捐赠,能否享受个税优惠政策 2 月 27 日下午,江苏省

  3. NO.3 因为疫情不能上班还有工资吗?2020年疫情工资发放标准

    因为疫情不能上班还有工资吗?2020年疫情工资发放标准 根据有关法律法规规定,因疫情无法上班的工资发放标准将严格按照人力资源社会保障部发放

  4. NO.4 今日股市新消息:今日股市午盘行情

    今日股市新消息 今日股市午盘行情 科技股重挫,沪指休报2890.56点,跌幅3.37%。 隔夜欧美股市在疫情影响下再度大跌,2月28日A股在外盘冲击和前期获

  5. NO.5 疫情对工资的影响?疫情工资会正常发放吗?

    疫情对工资的影响?疫情工资会正常发放吗? 目前我国正处于防控新型冠状病毒的关键时期,受疫情的影响,很多企业推迟了生产经营时间,我国绝

  6. NO.6 2019年国民总收入超98万亿元 稳居世界第二位

    2019年国民总收入超98万亿元 稳居世界第二位 国家统计局28日发布2019年国民经济和社会发展统计公报,2019年国内生产总值990865亿元,按年平均汇率折

  7. NO.7 电子发票概念股有哪些?税务总局3月1日起将试点电子发票

    电子发票概念股有哪些?税务总局3月1日起将试点电子发票 国家税务总局27日召开便民办税春风行动新闻发布会。据介绍,电子发票试点将在3月1日启

  8. NO.8 2019年国民总收入超98万亿元 国内生产总值990865亿元

    2019年国民总收入超98万亿元 国内生产总值990865亿元 国家统计局28日发布2019年国民经济和社会发展统计公报,2019年国内生产总值990865亿元,按年平均

Copyright2018.天天资讯网资讯站,让大家及时掌握各行各业第一手资讯新闻!