培训和验证vs.培训，测试和验证
我正在从事一项新的工作，这将给我机会做一些很酷的机器学习的东西。我从研究生院开始就没有深入接触过这些东西，我想澄清一些概念。教授我的方法是，将数据（80
解答动态
“所有模型都是错误的，但有些是有用的”。当我们建立模型时，我们的主要材料是数据。但最终的目标可能永远也无法实现，那就是将我们的模型用于不同的数据，并像我们训练过的数据一样执行。但很明显我们可以试一下分开。现在我不会讨论分割的大� ５医刑致畚颐鞘怯Ω梅殖闪街址绞交故侨址绞健６晕依此担憧刂频氖菝挥斜匾殖扇糠帧＠纾阌�100个病人的心电图数据。您可以通过将80/20拆分为train和test来训练模型，以查看其是否有效。如果它在测试集中表现良好，则不需要验证，因为您的测试集与列车集不同。问题是何时需要验证集。例如，临医生有额外的20名患者的心电图数据，这些数据没有在你的训练和测试集中使用。你训练了你的模型，通过测试集调整了你的参数。但现在你有了和临医生完全不同的数据。他们会尝试验证你的模型。所以直觉可以是，医生想有一些模型。他们有120个病人的资料。他们给你100个数据。你把它们分成训练和测试。然后医生用你的模型来验证套入任何竞争，例如kaggle，数据可能是这样划分的。
一般来说，只要有使用trainig集中测试集的信息的危险，就需要将数据集划分为测试/训练集。作为一个建模者，这些信息可能会在你的脑海中流动。让我们暂时了解一下。
例如，如果您使用一种方法构建一个模型，请使用80/20拆分或交叉验证。如果您在80/20分割上比较许多方法，那么您将在建模中隐式地使用来自测试集性能的信息。在本例中添加验证数据集。如果您选择其中一些模型进行超参数优化，则需要额外的测试，或者在构建模型时优化模型（这很难）。以此类推。
在任何情况下，将验证数据集尽可能长时间地放在表外，并尽可能少地使用它。
在双向拆分中，正如您还提到的，您的验证集实际上就是您的测试集。在你看来，你没有提到超参数优化（HPO），但它是许多机器学习算法的关键一步。当您需要HPO时，您要么需要有一个单独的验证集来调优HPs，要么在训练集中使用交叉验证来调优它们。最后，模型将在整个训练数据集上进行训练，并在测试集上进行测试。
在ML算法中，如果您不需要优化HPs，您可以像以前一样使用训练集上的交叉验证来获得损失度量，但这也可以通过使用整个数据集来完成，即您有五个80-20的分割，平均褶皱的损失。你不需要两级测试，你描述的两种方法本质上是一样的。当您描述使用交叉验证时，这类似于使用重复多次的列测试拆分。训练集上的训练/验证/测试和交叉验证训练/测试完全相同，但对训练/测试的不同部分使用交叉验证重复。- End
免责声明：
本页内容仅代表作者本人意见，若因此产生任何纠纷由作者本人负责，概与琴岛网公司无关。本页内容仅供参考，请您根据自身实际情况谨慎操作。尤其涉及您或第三方利益等事项，请咨询专业人士处理。