1.基本概念

课程笔记 →

State 状态#

State Space 状态空间：$\mathcal{S} = \{s_i\}$.

Action 动作#

$\mathcal A (s) = \{a_i\}$. 动作空间取决于当前所处状态

State Transition 状态转移#

Deterministic(Transfer Matrix), Stochastic(Conditional Probability)

Policy 策略#

明确 agent 在每个 state 会采用哪些 action(s) 的概率分布。

Reward 奖励#

$r=r(a_{t+1}, s_t)$ 或者 $p(r \mid a_{t+1},s_t)$：在某个 state，采取某种 action，agent 会得到的奖励。可以是任何实数，一般规定 agent 得分越高越好。

Trajectory 轨迹 / Path 路径#

是一个 state-action-reward 链。

Return 回报#

针对 trajectory 的概念，即一条 trajectory 上的所有 reward 的和。

Discounted Return 贴现回报#

对于「无限长」trajectory，一般的 return 可能发散到无穷，但通过设置 discount rate 贴现系数 $\gamma \in [0,1)$，对未来的 reward 进行等比缩小，得到收敛的贴现回报 $\sum_{i=0}^\infty \gamma^i r_i$.

贴现回报的 $\gamma$ 如果设置得小，就会鼓励 agent 更注重短期奖励，反之则注重长远奖励。

Episode#

如果 agent 最终停在了一个 terminal state，则其 trajectory 被称为 episode. episode 一般是有限长的。

Episodic Task#

有限长的任务

Continuing Task#

无限长的任务

一般会将 episodic tasks 转换为 continuing tasks，有两种方式：

1. 将 terminal state 设置为 absorbing state，即不给 agent 提供离开该 state 的方法

2. 允许 agent 在到达 terminal state 之后自由活动

方法 2. 的 inductive bias 更少，换言之更一般。

Markov Decision Process(MDP)#

顾名思义，符合 Markov 性质的决策过程。

Markov 性质：未来状态的概率分布仅依赖于当前状态，而与过去的状态序列无关。又称无记忆性 memoryless.

形式化地：

$$p(s_{t+1} \mid a_{t+1},s_t,\dots,a_1,s_0) = p(s_{t+1} \mid a_{t+1} s_t)$$ $$p(r_{t+1} \mid a_{t+1},s_t,\dots,a_1,s_0) = p(r_{t+1} \mid a_{t+1} s_t)$$

要素包括：

1. 集合
   1. 状态集
   2. 动作集
   3. 奖励集
2. 概率分布
   1. 状态转移概率
   2. 奖励概率
3. 策略（动作的概率分布）
4. Markov 性质（无记忆性）

其名字基本完整反映了其定义：Markov 对应 Markov 性质，Decision 对应了策略（选择 action），Process 对应了一个过程链。

Markov Process#

一旦 MDP 中的 Policy 给定（概率分布确定），那么 MDP 就退化成一个 Markov Process 了。