简化分批法和一般分批法区别项很多,他们的区别主要在于以下几个方面:
一、简化分批法更加简单,遵循“大小两把分”的原则,将训练数据分成两类:大样本和小样本。大样本用来对模型进行整体参数训练,小样本用来更新模型的具体参数。根据大小样本比例的不同,简化分批法分为全局性简化分批法和局部性简化分批法。
二、一般分批法将训练数据分成一个一个小的batch,用来分步更新模型参数的数量。其中每一步更新的量和数据规模有关,这样能够加快训练速度,减少梯度下降过程中计算量。
总的来说,简化分批法是通过分类训练数据来更新模型参数,而一般分批法是通过分割训练数据来更新模型参数。这两种方法都具有优势,但在不同情景下,使用不同的分批法可以更好地实现训练的效果,更接近最优解。
拓展知识:正则化分批法是近几年提出的一种新型分批法,它主要是根据模型的正则化泛函来选择样本,来进行迭代更新模型参数。这种技术可以减少训练时间,提高模型准确率,可以更好地适应大规模数据集训练。