Deep Reinforcement Learning

深層強化学習

Structured notes on agents, environments, value functions, and learning through interaction.

Introduction

More parts, chapters, sections, and subsections will be added as these notes develop.

PART 01

Part 1 Foundations

Machine learning foundations

1.1

Linear models

线性模型

定义：线性模型是一类最简单的监督机器学习模型，可被视为单层神经网络。

主要类型：线性回归（Linear Regression）、逻辑斯蒂回归（Logistic Regression）、Softmax 分类器。

线性回归

线性回归是一种监督学习方法，通过建立输入特征与连续目标变量之间（x与y）的线性关系，实现数值预测。

f(x;w,b)=x^T w+b

拖动参数，观察拟合直线与误差

关键词：

$x\in\mathbb{R}^d$ ：特征向量（Feature Vector），包含 $d$ 个特征。
$w\in\mathbb{R}^d$ ：权重（Weights），决定各特征对预测结果的影响。
$b\in\mathbb{R}$ ：偏置（Bias / Intercept），控制预测值的整体偏移。
$f(x;w,b)$ ：预测函数。

展开形式：

f(x;w,b)=\sum_{j=1}^{d}w_jx_j+b

训练数据

定义：利用带标签的历史数据，通过最小化损失函数估计模型参数 $w,b$ 。

\mathcal{D}=\{(x_i,y_i)\}_{i=1}^{n}

其中 $x_i$ 为输入特征， $y_i$ 为真实标签， $n$ 为样本数量。

损失函数

定义：衡量模型预测值与真实值之间的差异，是模型优化的目标。

最小二乘损失（Least Squares Loss）：

L(w,b)=\frac{1}{2n}\sum_{i=1}^{n}\left(f(x_i;w,b)-y_i\right)^2

关键词：平方误差、预测偏差、损失最小化。

参数优化与预测

定义：通过数学求解或数值优化，寻找使损失函数最小的模型参数。

(\hat{w},\hat{b})=\arg\min_{w,b}L(w,b)

常见方法：解析解（如最小二乘解）、梯度下降（Gradient Descent）、共轭梯度（Conjugate Gradient）。

定义：将新样本输入训练完成的模型，利用估计参数计算预测值。

\hat{y}=x^T\hat{w}+\hat{b}

正则化

定义：在损失函数中增加对模型参数的惩罚项，限制模型复杂度，以缓解过拟合（Overfitting）。

正则化目标：

\min_{w,b}\;L(w,b)+\lambda R(w)

方法	正则项	主要特点
L1 / LASSO	$\lVert w\rVert_1$	促进权重稀疏，可用于特征选择
L2 / Ridge	$\lVert w\rVert_2^2$	抑制权重过大，改善模型稳定性

$\lambda$ ：正则化强度，控制数据拟合与参数约束之间的平衡。

定义：通过不同的数据划分评估模型的泛化表现，用于模型选择与超参数调优，例如选择正则化系数 $\lambda$ 。

线性回归流程

数据准备

特征

x

+ 标签

y

建立线性模型

f(x)=x^T w+b

定义优化目标

最小二乘损失 + 可选正则化

训练模型

优化参数

w

、

b

预测与评估

\hat{y}=x^T\hat{w}+\hat{b}

逻辑斯蒂回归

一种用于二分类（Binary Classification）的监督学习模型，通过 Sigmoid 函数将线性模型的输出映射为类别概率。

关键词：二分类、线性分类器、概率预测、Sigmoid 激活函数。

f(x;w,b)=\sigma(x^T w+b)

其中：

$x\in\mathbb{R}^d$ ：输入特征向量。
$w\in\mathbb{R}^d$ ：权重。
$b\in\mathbb{R}$ ：偏置。
$\sigma$ ：Sigmoid 激活函数。
$f(x;w,b)$ ：预测属于正类（ $y=1$ ）的概率。

从输入到概率

线性二元分类器流程

Sigmoid 函数

定义：将任意实数映射至 $(0,1)$ 区间的非线性函数，使模型输出可解释为概率。

\sigma(z)=\frac{1}{1+e^{-z}}

Sigmoid 函数呈 S 形曲线，输出范围为 $(0,1)$ 。

关键性质：

$z\to+\infty$ ，则 $\sigma(z)\to1$ 。
$z\to-\infty$ ，则 $\sigma(z)\to0$ 。
$z=0$ ，则 $\sigma(z)=0.5$ 。
通常以 $0.5$ 为阈值进行二分类。

交叉熵

定义：衡量真实概率分布与预测概率分布之间差异的指标，常用作分类模型的损失函数。

对于两个离散概率分布 $p,q$ ：

H(p,q)=-\sum_{j=1}^{m}p_j\ln q_j

$p$ ：真实概率分布。
$q$ ：预测概率分布。
$m$ ：类别数量。

核心思想：预测分布越接近真实分布，交叉熵越小（真实分布固定时）。

信息熵

定义：衡量概率分布不确定性的指标。

H(p)=-\sum_{j=1}^{m}p_j\ln p_j

关键词：信息量、不确定性、概率分布。

KL 散度

定义：衡量两个概率分布之间差异的非对称指标。

\mathrm{KL}(p\parallel q)=\sum_{j=1}^{m}p_j\ln\frac{p_j}{q_j}

关键性质：

$\mathrm{KL}(p\parallel q)\geq0$ 。
当且仅当 $p=q$ 时，KL 散度为零（对离散分布）。
不具有对称性，一般 $\mathrm{KL}(p\parallel q)\neq\mathrm{KL}(q\parallel p)$ 。

与交叉熵的关系：

\boxed{\mathrm{KL}(p\parallel q)=H(p,q)-H(p)}

由于真实分布 $p$ 固定， $H(p)$ 为常数，因此最小化交叉熵等价于最小化 KL 散度。

一张图理解熵、交叉熵与 KL 散度

二元交叉熵损失

定义：通过二元交叉熵衡量预测概率与真实二分类标签之间的差异。

单样本二元交叉熵（Binary Cross-Entropy）：

\ell_i=-\left[y_i\ln\hat{p}_i+(1-y_i)\ln(1-\hat{p}_i)\right]

其中：

\hat{p}_i=\sigma(x_i^T w+b)

训练集平均损失：

L(w,b)=\frac{1}{n}\sum_{i=1}^{n}\ell_i

关键词：二元交叉熵、概率误差、损失最小化。

正则化与参数优化

定义：在损失函数中加入参数惩罚项，以缓解过拟合并改善泛化能力。

\min_{w,b}L(w,b)+\lambda R(w)

方法	正则项	作用
L1	$\lVert w\rVert_1$	促进稀疏性
L2	$\lVert w\rVert_2^2$	抑制权重过大

定义：通过数值优化算法寻找使目标函数最小的模型参数。

(\hat{w},\hat{b})=\arg\min_{w,b}\left[L(w,b)+\lambda R(w)\right]

常见算法：梯度下降（Gradient Descent）、随机梯度下降（SGD）、Newton–Raphson、L-BFGS。

逻辑斯蒂回归流程

逻辑斯蒂回归

二分类概率模型

线性变换 + Sigmoid

\hat{p}=\sigma(x^T w+b)

二元交叉熵损失

衡量预测概率与真实标签的差异

正则化 + 参数优化

最小化目标函数，学习

w

、

b

分类预测

概率阈值 → 类别 0 或 1

线性回归与逻辑斯蒂回归

对比维度	线性回归	逻辑斯蒂回归
任务	连续数值预测	二分类
输出	实数	0–1 之间的概率
模型	$x^T w+b$	$\sigma(x^T w+b)$
常用损失	均方误差	二元交叉熵
常用优化	最小二乘法、梯度下降	梯度下降、Newton、L-BFGS

最重要的联系：两者都以线性函数 $x^T w+b$ 为基础。线性回归直接输出数值，而逻辑斯蒂回归通过 Sigmoid 将线性输出转化为概率。

1.2