拉格朗日乘数法复习

拉格朗日乘数法复习

$\hspace{1cm}$ 给定一个多元函数$f(\mathbf{x})$, 和若干个限制：$g_1(\mathbf{x}) = g_2(\mathbf{x}) = … = g_m(\mathbf{x}) = 0$, 求$f(\mathbf{x})$的最小值。这里的$\mathbf{x}$是一个向量。$\mathbf{x} = {x_1,x_2,…x_n}$

$\hspace{1cm}$ 设$L(\mathbf{x}, \lambda_1, \lambda_2, …, \lambda_m) = f(\mathbf{x}) - \lambda_1g_1(\mathbf{x}) - … - \lambda_mg_m(\mathbf{x})$,若$\frac{\partial L}{\partial \mathbf{x}} = \mathbf{0}$，$\forall i \in [1,m],\frac{\partial L}{\partial \lambda_i} = 0$, 则此时的$\mathbf{x}$是一个候选的极小值点（极小值点必定在这样的一个$\mathbf{x}$中）

证明：

$\hspace{1cm}$ 考虑$\mathbf{x} = \mathbf{x_0}$时，此时$\mathbf{x}$想要有任何的微小位移$\Delta \mathbf{x}$,都必须满足：
$$
\Delta \mathbf{x} \cdot \nabla g_i(\mathbf{x_0}) = 0 \ \ \ \forall i \in[1,m]
$$
$\hspace{1cm}$ 我们称任意一个满足上式的微小位移$\Delta \mathbf{x}$为合法微小位移。

$\hspace{1cm}$ 若$\mathbf{x_0}$还是一个最小值点，那么对于任意一个合法微小位移，它肯定需要满足：
$$
\Delta \mathbf{x} \cdot \nabla f(\mathbf{x_0}) = 0
$$
$\hspace{1cm}$ 因为对于任意一个合法微小位移都需要满足，所以显然$\nabla f(\mathbf{x_0})$必定在$\nabla g_i(\mathbf{x_0})$张成的线性空间里。这就对应：$\frac{\partial L}{\partial \mathbf{x}} = \mathbf{0}$的这个条件。至于$\forall i \in [1,m],\frac{\partial L}{\partial \lambda_i} = 0$，这是为了满足约束条件而显然必须的条件。