简介：人工智能的机器学习具有三个主要类别：1）分类； 2）回归； 3）聚类。今天，我们将重点介绍TD学习算法。 TD学习时间序列差分学习结合了动态编程DP和蒙特卡洛MC方法，并且具有两种算法的优点。这是强化学习的核心思想。尽管仅当知道最终结果时，蒙特卡洛MC方法才调整其估计值，但TD学习时间序列差分学习会调整预测以使其匹配，并在最终结果之前更准确地预测未来的预测。 TD学习算法的概念：TD学习（时差学习）时间序列差分学习是一种无模型的强化学习方法，它是从当前值函数估计的自举过程中学习的。这些方法从环境中抽取样本（例如蒙特卡洛方法），并基于当前估计值执行更新（例如动态编程方法）。 TD学习算法的精髓：TD学习（Temporal-Difference Learning）时间序列差分学习结合了动态编程和蒙特卡洛方法，这是强化学习的核心思想。时间差不容易理解。相反，当时的差异学习更加生动，这意味着将使用当前差异数据进行学习。蒙特卡洛MC方法是模拟（或体验）序列或绘图。序列或绘图结束后，将根据序列或绘图中每个状态的值估算状态值。 TD学习时间序列差分学习是根据新状态的值模拟（或体验）每个动作步骤（或几个步骤）的序列或情节，然后在执行之前估算状态的值。可以认为，蒙特卡洛MC方法是具有最大步数的TD学习时间序列微分学习。 TD学习算法描述：如果可以计算策略值（＆amp; pi状态值v＆amp; pi；或动作值q＆amp; pi（s，a）），则可以优化策略。在蒙特卡洛方法中，要计算策略的值，需要完成一个图，然后通过该图的目标值Gt计算状态值。其公式：MC公式：V（St）＆amp; V（St）+＆amp; alpha＆amp;δt＆amp; delta; t = [Gt？ V（St）]此处：＆lt; t＆amp; ndash; MC错误＆amp; alpha; ＆amp; ndash; MC学习步长TD学习公式：V（St）＆larr; V（St）＋＆amp; alpha＆amp;δt＆amp;δt= ［Rt ＋ 1 ＋＆amp;γV（St ＋ 1）？ V（St）]此处：＆lt; t＆amp; ndash; TD学习错误＆amp; alpha; ＆amp; ndash; TD学习步长＆amp; gamma; ＆amp; ndash; TD学习奖励折扣率TD学习时差法的目标是Rt + 1 +＆amp; gamma。 V（St + 1），如果V（St + 1）如果使用实数值，则TD学习时差方法估计也是无偏估计。但是，在实验中，V（St + 1）为n。也是估计值，因此TD学习时差法是有偏差的估计。但是，与蒙特卡洛MC方法相比，TD学习时差方法仅使用一步随机状态和动作。因此，TD学习时差法的随机性比蒙特卡罗MC方法中的Gt小，因此其方差也比蒙特卡罗MC方法中的方差小。 TD学习分类：1）策略状态值v＆amp; pi的时间序列微分学习方法。 （单步多步）2）策略动作值q＆amp; pi的策略时间序列差分学习方法：Sarsa（单步多步）3）策略动作值q＆amp; pi。非策略时间序列差异学习方法：Q学习（单步），双重Q学习（单步）4）策略动作值q＆amp; pi偏离策略的时间序列差分学习方法（具有重要性采样）：Sarsa（多步）5）战略行动值q＆amp; pi的偏离策略的时间序列差分学习方法； （没有重要性采样）：树备份算法（多步骤）6）战略行动值q＆amp; pi的非政策时间序列差分学习方法。 Q（＆amp;σ）（多步）TD学习算法流程：1）单步TD学习时间序列差分学习方法：任意地初始化？ s＆amp; isinS + Repeat（每个情节）：？初始化S吗？重复（针对情节的每个步骤）： ？ ＆amp; pi;为了S？ ？采取行动A，遵守R，S＆prime;吗？ ？ V（S）＆lar; V（S）＋＆alpha; ［R ＋＆amp;γV（S＆prime;）？ V（S）]？ ？ S＆larr; S＆amp; prime ;?直到S是终端为止2）多步TD学习时间序列差分学习方法：输入：策略＆amp; pi。被任意评估InitializeV（s）？ s＆isinS参数：步长＆amp; isin;（0,1]，正整数nAllstore和访问