如何理解DataRobot模型:比较模型的准确性[第2部分]

时间:2019-03-13 20:11:41 阅读:18次

  当您雇用新员工时,您不仅要面试一个求职者。您邀请几位求职者进行面试,并寻求最高绩效者,一份具有最佳证书的人,一份具有良好工作绩效记录的人。嗯,当你想将人工智能(AI)投入生产时也是如此。您不应该只构建一个算法。相反,您应该训练多个算法,并找到对您的数据表现最佳的算法。该博客将告诉您如何找到性能最佳的算法。

<! - more - >

  在本系列的第一篇博客中,我们介绍了如何理解DataRobot模型的备忘单。

  

  

  在这篇博客中,我们将重点介绍以绿色标记的备忘单部分。

  历史上,如果你想要一个新的AI,第一步就是建立一个机器学习算法(机器学习算法能够驱动大多数AI)。因此,数据科学家会选择一种机器学习算法并为您训练。为什么只有一个算法?嗯,这是因为手动构建,训练和部署这些算法所花费的时间和精力。由于您只有一个算法可供选择,因此您无法保证获得最佳效果。但手动构建AI的日子即将结束。自动化机器学习使您可以快速有效地构建和训练数十甚至数百种算法供您选择。

  

DataRobot排行榜

  就像竞争对人们有利一样,它也适用于AI和机器学习算法。根据没有免费的午餐定理,没有算法总是最好的。你可能有自己的最爱,但请放弃,让竞争最准确。 DataRobot的排行榜就是这样做的。最准确的模型列在顶部,最不准确的模型在底部。

  

  以上是排行榜中前六名模特的截图。该项目的完整排行榜包含90个模型,但实际的排行榜模型数量因项目而异。在排行榜的左侧,列出了每个训练过的模型及其描述。您可以单击模型以展开它并了解更多详细信息。右侧是有关模型使用的特征或输入变量,训练的数据量以及准确度分数的详细信息。所有型号都具有验证准确度

  为了让您更容易选择模型,DataRobot会自动标记哪种模型最准确,哪种模型最适合进行部署。但是你可能有更多的考虑而不仅仅是准确性。因此,您可以选择从排行榜部署任何模型。你甚至可以选择不止一个!随着每个新博客在本系列中发布,您将学习如何理解模型的更多特征,从而更好地为您选择哪个最适合您的特定需求。

  如何解释上面的排行榜:

  •    DataRobot已将ENET Blender标记为您数据上最准确的模型。 ENET Blender在64%的行上进行了训练,并使用了默认的输入功能列表(信息功能)。


  •    DataRobot已将eXtreme Gradient Boosted Trees Regressor标记为部署建议,因为它的精度几乎等于最准确的模型,但运行速度更快。该模型在80%的行上进行了重新训练,以提高精度,并使用默认的输入功能列表(信息功能)列表。


      

    模型比较

      如果您更像是一个视觉人而非数字人,那么模型比较图适合您。这些图比较了您从排行榜中选择的任何两种模型,并直观地比较它们的准确性。

      

    模型比较 - 提升图表

      我们可以在任何两个模型之间进行的第一次比较是绘制每个模型的升力图。提升图表通过显示模型如何将高值(例如,找到最有可能购买产品的客户)与低值(例如,找到不适合产品的客户)分开来传达准确性。这里蓝线代表一个模型,黄线代表不同的模型,两者都由用户选择。

      

       DataRobot对每一行进行预测,然后对从最低预测到最高预测的每一行进行排序。最后,它绘制了具有最低预测值(在左侧)的行的平均结果,直到具有最高预测的行(在右侧)。更准确的模型是线条具有最陡斜率和最宽垂直范围的模型,因为这意味着模型正确地将高值与其预测中的低值分开。

      如何解释上面的提升图:

  •   蓝线的斜率比黄线更陡峭。


  •   蓝线在前30%时特别低,在预测排序的最后10%行中更高。


  •   蓝线代表的模型比黄线代表的模型更准确。


      

    模型比较 - 双提升图

      有时,我们不想比较所有数据中两个模型的整体准确性,而是希望了解预测的不同之处,以及模型何时有不同的预测,哪种模型更准确。双提升图通过向我们展示模型预测的不同程度以及预测偏离时哪个模型更正确来传达准确性。这对于某些类型的建模用例非常重要,我想知道有多少不同的模型可以分散,以评估获胜者诅咒的风险。

      蓝线再次表示一个模型,黄线表示不同的模型,两者均由用户选择。这次有一条额外的线,一条橙色线代表目标变量的实际值。

      

      为此,我们从两个选定的模型中收集预测对,根据第一个模型的预测超过第二个模型的程度对数据行进行排名。然后,我们绘制预测和实际结果。在图的左侧是黄色模型具有大多数超过蓝色模型的预测的行。在图的右侧是蓝色模型具有最多超过黄色模型的预测的行。更准确的模型是其线最接近橙色线的模型。

      如何解释上面的双提升图:

  •   两条线的差异最大为4.0(原始数据值范围从1到10),表明这两个模型可能有明显不同的预测。


  •   每当模型有不同的预测时,蓝线代表的模型通常更接近实际结果。实际上,两个模型发散的越多,蓝线表示的模型就越准确。这意味着由蓝线表示的模型比由黄线表示的模型更准确。


  •   高级:通过组合这两个模型,您可以获得更高的准确性。使用两个模型的加权平均值(主要是蓝色模型加权)可能会略微提高准确度,因为当两条线发散时,真实结果位于两条线之间,但通常更接近蓝线。


      

    结论

      寻找最佳AI的途径包括找到最准确的AI。您在算法之间进行竞争以找到最佳,并让结果从最不准确的方向排序。您可以构建和培训这么多的唯一实用方法是使用自动化机器学习。 DataRobot发明了自动化机器学习,并提供最广泛的见解和诊断,帮助您理解和信任您构建的模型。如果您的AI无法构建数十个模型并向您展示哪个模型最准确,那么就可以升级到DataRobot以获取您可信赖的模型。点击此处安排DataRobot人性化模型解释性的演示。

      

  • 如何理解DataRobot模型:比较模型的准确性[第2部分]所属专题:模型专题 DataRobot专题 《如何理解DataRobot模型:比较模型的准确性[第2部分]》链接:http://www.zhouchuanxiong.net/1204

    如何理解DataRobot模型:比较模型的准确性[第2部分]相关文章