gradient descent

英美

美[ˈɡreɪdiənt dɪˈsent]

梯度下降：一种一阶迭代优化算法，用于寻找可微函数的局部最小值。

梯度下降法

梯度下降法（gradient descent）是求解无约束最优化问题的一种常用方法，有实现简单的优点。梯度下降法是迭代算法，每一步需要求解目标函数的梯度向量。

[数] 梯度下降

...用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。

梯度下降算法

调参的方式是采用梯度下降算法（Gradient descent），沿着梯度方向调整参数大小。w和b的梯度推导如下：其中，z表示神经元的输入，表示激活函数。

2. Gradient descent for multiple variables：梯度下降在多变量线性回归中的应用 ; 多元的函数的梯度下降 ; 多变量梯度下降

3. Gradient descent for linear regression：应用于线性回归的的梯度下降算法

4. steepest gradient descent：最陡梯度下降算法

5. stichastic gradient descent：可以通过随机梯度下降

The delta rule is based on the idea of gradient descent.

而delta规则是基于梯度降落这样一种思路。

This paper studies BP network, realizes the method of gradient descent, gets better result than traditional one.

本文研究了BP网络，实现了“梯度下降法”的网络训练方法，获得了较传统方法好的效果。

This paper researches the application of the stochastic parallel gradient descent (SPGD) optimization algorithm on the beam cleanup system.

就随机并行梯度下降(SPGD)最优化算法在光束净化系统中的应用展开研究。