如何使汽车模型进行交叉验证?

wanglu2014

谢谢大家的关注。在汽车模型中，导入的数据按比例分为训练数据和验证数据。但是，为了提高模型的可靠性，我们是否可以将分割过程修改为交叉验证?

Telcontar120

当然，只需打开所需模型的流程，然后将流程从分割验证更改为交叉验证并重新运行即可。

开罗的

对不起@Telcontar120，我有同样的问题，无法理解从哪里改变过程从分割验证到交叉验证?我很抱歉，但我仍然是初学者的RapidMiner。我发现了数据块分割，这是你的意思吗?如果是这样，如何分割数据，例如离开，或k=4在k-fold交叉验证?

Telcontar120

不，我的意思是，一旦您有了流程，您可以选择分割验证操作符，并用交叉验证操作符替换它。这可以通过右键单击分割验证操作符来实现，或者手动复制新的交叉验证操作符，将分割验证中的操作符复制到交叉验证中，然后删除分割验证操作符。同样的结果。在这两种情况下，只要确保正确地连接了内部操作符即可。如果需要重复检查，请参阅帮助中的交叉验证教程。

rfuentealba

你好,

今天我向一位新同事展示了RapidMiner autommodel。与《泰坦尼克号》数据集，如果选择逻辑回归(这是我记得的情况，但可能还有许多其他的情况)没有所谓的分割验证操作符。相反，该进程执行分割数据操作符，并应用性能作为最后的运算符，我称之为手册 执行验证的方法。

在这种情况下，不像更改操作符那么简单。(不过也有一些人是这样。)

我的建议是重新安排流程并理解它是如何工作的，因为尽管autommodel是数据科学项目的一个很好的开端，但它仍然是一个开端:我们的项目仍然缺乏适当的文档(它仍然不能为我们的领域专业知识生成文档)，删除样板步骤(如果我们的数据集没有文本，为什乐鱼平台进入么要处理文本?)，并使流程适应我们的用例。

我知道，这不是那种快乐的答案，神奇地解决了我们的问题，不得不经历的过程是特别令人沮丧的新手RapidMiner，但请专注于RapidMiner做 有一个#noblackboxes哲学，让人们在几秒钟内从0到60，通过了解这个过程是怎么做的。

（@Telcontar120你有和我一样的似曾相识吗?这不是我们初次见面时的话题吗?)

希望这能帮到你，

罗德里戈。

IngoRM

是的，没错。顺便说一下，我们在AM中进行性能评估的方式实际上是相当聪明的。交叉验证是一个更健壮的估计器的原因是，它减少了对训练模型“更容易”或“更难”的测试集的依赖。我们在AM中做了类似的事情，在大多数数据上训练一个模型，然后创建多个保留集，同时在平均之前去除异常值。在超过1000行的80多个数据集上，我只发现了两个例子，其中这种方法与使用全面交叉验证创建的性能之间的差异在统计上是显著的。因此，对于所有实际目的，特别是在数据科学项目的早期阶段，AM的验证方法几乎与完整的交叉验证一样好，但速度快5 - 10倍。乐鱼平台进入

不要误解我，我并不是反对交叉验证，恰恰相反。我只是想指出，我们提出了一种实用的方法，可以更好地平衡运行时和估计鲁棒性，根据我的经验，这种方法对大多数应用程序都足够有效。

就是2c，

Ingo

varunm1

@IngoRM这看起来很棒。对于庞大的数据集，AM中的这种方法像宝石一样工作，并且根据您的测试看起来也很可靠。我有点困惑的是，当你随机分割数据时，为什么在过程中使用holdout集。现在很清楚了。

SGolbert

嗨@IngoRM

很高兴知道你彻底调查了这件事，我现在更相信我了。

我认为，一旦在AM中找到适当的模型，就应该在新过程中训练一个带有所有数据的新模型，可能带有超参数调整。

问候,

塞巴斯蒂安。

IngoRM

实际上，我们正在研究Auto Model的新部署特性，以简化再培训等过程。敬请期待;-)

阴

@IngoRM我看到你的帖子是从2019年开始的，这个已经实施了吗?

yoni1961

@IngoRM我看到你的帖子是从2019年开始的，这个已经实施了吗?同样的问题…我们有一个小数据集(106)，并希望使用交叉验证....我们需要知道更多的超出你的详细(和伟大的解释?????以上(你所说的我的2美分远不止于此????:)@Telcontar120