### 最优化方法Matlab代码详解
#### 一、BFGS计算算法（精确一维搜索）
**算法背景：**
BFGS（Broyden-Fletcher-Goldfarb-Shanno）算法是一种迭代法求解无约束非线性优化问题的方法。它通过近似目标函数的海森矩阵来更新搜索方向，并在每一步都进行一维搜索来确定最佳步长。本节将详细介绍一个基于精确一维搜索的BFGS算法示例。
**算法步骤：**
1. **初始化**：
- 定义目标函数 \(f(x_1, x_2)\) 为 \(50(x_2 - x_1^2)^2 + (1 - x_1)^2\)。
- 设定初始点 \(x_0 = [0, 0]^T\) 和初始海森矩阵近似 \(H_0 = \begin{bmatrix} 1 & 0 \\ 0 & 1 \end{bmatrix}\)。
- 设置精度阈值 \(\epsilon = 1e-12\)。
- 初始化乘法计数器 `mul_count` 和加法计数器 `sum_count` 分别为 0。
2. **循环直到满足终止条件**：
- 计算梯度 \(g_k = \nabla f(x_k)\)。
- 如果 \(||g_k|| < \epsilon\)，则停止迭代。
- 更新搜索方向 \(p_k\)：
- 如果是第一次迭代，则 \(p_k = -H_0 g_k\)。
- 否则，计算更新后的海森矩阵近似 \(H_{k+1}\)，并更新搜索方向 \(p_k = -H_{k+1} g_k\)。
- 进行精确一维搜索以确定步长 \(\alpha_k\)，得到新的点 \(x_{k+1}\)。
- 更新 \(g_k\)、\(H_{k+1}\)、\(x_k\) 并增加迭代次数。
3. **输出结果**：
- 迭代次数 \(k\)
- 最终解向量 \(x_k\)
- 乘法和加法操作的总次数 \(mul_count\) 和 \(sum_count\)。
**关键概念与公式**：
- **梯度**：\(g_k = \nabla f(x_k)\)
- **搜索方向**：\(p_k = -H_k g_k\)
- **海森矩阵近似更新**：
\[H_{k+1} = H_k - \frac{H_k y_k y_k^T H_k}{y_k^T H_k y_k} + \frac{s_k s_k^T}{y_k^T s_k} + w_1 w_1^T\]
其中，\(w_1\) 的计算涉及 \(H_k\)、\(y_k\) 和 \(s_k\)。
- **精确一维搜索**：采用黄金分割法进行一维搜索，找到使目标函数最小化的步长。
#### 二、BFGS计算算法（不精确一维搜索）
**算法背景**：
不精确一维搜索版本的BFGS算法同样采用迭代方式求解无约束非线性优化问题，但其一维搜索过程采用了不精确搜索策略，从而可能减少计算复杂度和提高效率。
**算法步骤**：
1. **初始化**：
- 目标函数、初始点、初始海森矩阵近似、精度阈值等参数设置与精确一维搜索相同。
- 初始化乘法计数器 `mul_count` 和加法计数器 `sum_count` 分别为 0。
2. **循环直到满足终止条件**：
- 计算梯度 \(g_k = \nabla f(x_k)\)。
- 如果 \(||g_k|| < \epsilon\)，则停止迭代。
- 更新搜索方向 \(p_k\) 和海森矩阵近似 \(H_{k+1}\)。
- 进行不精确一维搜索以确定步长 \(\alpha_k\)，得到新的点 \(x_{k+1}\)。
- 更新 \(g_k\)、\(H_{k+1}\)、\(x_k\) 并增加迭代次数。
3. **输出结果**：
- 迭代次数 \(k\)
- 最终解向量 \(x_k\)
- 乘法和加法操作的总次数 \(mul_count\) 和 \(sum_count\)。
**关键概念与公式**：
除了一维搜索策略不同之外，该版本的BFGS算法与精确一维搜索版本中的其他部分保持一致。
#### 三、总结
本文通过两个具体实例，详细介绍了如何使用Matlab实现BFGS算法求解非线性优化问题。其中，精确一维搜索版通过黄金分割法确定步长，而另一个版本采用不精确一维搜索策略。两种方法均可有效应用于实际问题中，选择哪种方法取决于具体的应用场景和对计算资源的需求。
