拉格朗日乘数法复习

拉格朗日乘数法复习

\(\hspace{1cm}\) 给定一个多元函数\(f(\mathbf{x})\), 和若干个限制：\(g_1(\mathbf{x}) = g_2(\mathbf{x}) = ... = g_m(\mathbf{x}) = 0\), 求\(f(\mathbf{x})\)的最小值。这里的\(\mathbf{x}\)是一个向量。\(\mathbf{x} = \{x_1,x_2,...x_n\}\)

\(\hspace{1cm}\) 设\(L(\mathbf{x}, \lambda_1, \lambda_2, ..., \lambda_m) = f(\mathbf{x}) - \lambda_1g_1(\mathbf{x}) - ... - \lambda_mg_m(\mathbf{x})\),若\(\frac{\partial L}{\partial \mathbf{x}} = \mathbf{0}\)，\(\forall i \in [1,m],\frac{\partial L}{\partial \lambda_i} = 0\), 则此时的\(\mathbf{x}\)是一个候选的极小值点（极小值点必定在这样的一个\(\mathbf{x}\)中）

证明：

\(\hspace{1cm}\) 考虑\(\mathbf{x} = \mathbf{x_0}\)时，此时\(\mathbf{x}\)想要有任何的微小位移\(\Delta \mathbf{x}\),都必须满足： \[ \Delta \mathbf{x} \cdot \nabla g_i(\mathbf{x_0}) = 0 \ \ \ \forall i \in[1,m] \] \(\hspace{1cm}\) 我们称任意一个满足上式的微小位移\(\Delta \mathbf{x}\)为合法微小位移。

\(\hspace{1cm}\) 若\(\mathbf{x_0}\)还是一个最小值点，那么对于任意一个合法微小位移，它肯定需要满足： \[ \Delta \mathbf{x} \cdot \nabla f(\mathbf{x_0}) = 0 \] \(\hspace{1cm}\) 因为对于任意一个合法微小位移都需要满足，所以显然\(\nabla f(\mathbf{x_0})\)必定在\(\nabla g_i(\mathbf{x_0})\)张成的线性空间里。这就对应：\(\frac{\partial L}{\partial \mathbf{x}} = \mathbf{0}\)的这个条件。至于\(\forall i \in [1,m],\frac{\partial L}{\partial \lambda_i} = 0\)，这是为了满足约束条件而显然必须的条件。