固定预算法有哪些

固定预算法是指在给定的预算约束条件下，满足优化目标的一种优化策略。

常见的固定预算法有两种：随机梯度优化算法（SGD）和拓扑约束优化算法（TCO）。

随机梯度优化算法是一种常用的机器学习算法，它通过不断地迭代更新权重来最小化损失函数。它的核心思想是，当输入数据经过神经网络模型后产生输出结果，根据输出结果求出与实际预期误差的损失函数，随机梯度算法可以用于优化这个损失函数，通过不断调整神经网络中的参数，来降低损失函数的值。

拓扑约束算法（TCO）是一种常用的机器学习算法，它将拓扑结构作为参数约束，尝试在给定约束条件下最大化特征函数。与随机梯度优化算法不同，拓扑约束优化算法旨在在给定约束条件下完成优化，而不是为了最小化损失函数。因此，拓扑约束优化算法可以有效避免过拟合。

拓展知识：在机器学习中，优化过程一般分为两个步骤：搜索和优化。搜索阶段，可以使用最陡下降算法（SGD），模拟退火算法（SA），贝叶斯优化算法（BO），遗传算法（GA）等，来尝试寻找模型参数的全局最优解。优化阶段，则可以使用梯度下降算法（GD），共轭梯度算法（CG），爬山算法（SA），拉格朗日乘子法（LP）等，来精确的优化模型参数。