分类 强化学习 下的文章


撰写于    浏览:580 次  分类: 强化学习

撰写于    浏览:565 次  分类: 强化学习
Q-Learning是强化学习中的最基础算法,它基于Q-Table来实现。这个表格的每一行都代表着一个状态(state),每一行的每一列都代表着一个动作(action),而每个值就代表着如果在该state下采取该action所能获取的最大的未来期望奖励。通过Q-Table就可以找到每个状态下的最优行为,进而通过找到所有的最优action来最终得到最[...]

撰写于    浏览:558 次  分类: 强化学习
在马尔可夫决策过程中,当智能体从一个状态S,选择动作A,会进入另外一个状态S'。同时,也会给智能体奖励R。 奖励既有正,也有负,正代表我们鼓励智能体在这个状态下继续这么做,负得话代表我们并不希望智能体这么做。 在强化学习中,我们会用奖励R作为智能体学习的引导,期望智能体获得尽可能多的奖励。需要注意的是:很多时候,我们并不能单纯通过R来衡量一个动作的[...]

撰写于    浏览:3386 次  分类: 强化学习
1、Protobuf 简介Protocol Buffers(简称 Protobuf),是Google公司开发的一种数据描述语言,类似于XML能够将结构化数据序列化,可用于数据存储、数据交换、通信协议等方面。相比于它的前辈XML、Json,它的体量更小,解析速度更快,所以在业内获得了广泛的应用。在多智能体强化学习过程中,由于多个Agent位于不同的节[...]

撰写于    浏览:1005 次  分类: 强化学习
Ray简介Ray是一个开源的人工智能分布式框架,它的目标是让开发者仅需添加数行代码就能轻松转为适合于计算机集群运行的高性能分布式应用。今天的深度学习越来越需要计算资源,像笔记本电脑这样的单节点开发环境无法扩展以满足算力需求,Ray是将Python和AI应用程序从笔记本电脑扩展到集群的统一方法。使用Ray,您可以将相同的代码从笔记本电脑无缝扩展到集群[...]

撰写于    浏览:544 次  分类: 强化学习
REINFORCE介绍强化学习中的策略优化主要有两类:基于价值的方法和基于策略的方法(当然两者的结合产生了 Actor-Critic 等算法)。基于值函数的方法主要是学习值函数,然后根据值函数导出一个策略,学习过程中并不存在一个显式的策略;而基于策略的方法则是直接显式地学习一个目标策略。基于价值的方法主要有DQN,而基于策略的方法有REINFORC[...]

撰写于    浏览:919 次  分类: 强化学习
强化学习中的策略优化主要有两类:基于value价值的方法和基于policy策略的方法(当然两者的结合产生了 Actor-Critic 等算法)。基于值函数的方法主要是学习值函数,然后根据值函数导出一个策略,学习过程中并不存在一个显式的策略;而基于策略的方法则是直接显式地学习一个目标策略。value-based方法是先通过计算出值函数,然后再求策略;[...]

撰写于    浏览:406 次  分类: 强化学习
马尔可夫决策过程简介马尔可夫决策过程(Markov Decision Processes,MDP)是对强化学习中环境的形式化的描述,或者说是对于智能体所处的环境的一个建模。在强化学习中,几乎所有的问题都可以形式化地表示为一个马尔可夫决策过程。本文以Frozen Lake游戏为例,介绍一下马尔可夫决策过程。Frozen Lake 游戏介绍Frozen[...]

撰写于    浏览:521 次  分类: 强化学习
当我们使用gym创建环境的时候:env = gym.make('CartPole-v0')返回的env其实并非CartPole类本身,而是一个经过包装的环境。包装的过程可以看这里:def make(self, path, **kwargs): spec = self.spec(path) env = spec.m[...]

撰写于    浏览:1148 次  分类: 强化学习
MuJoCo 简介MuJoCo全称为Multi-Joint dynamics with Contact,主要由华盛顿大学的Emo Todorov教授开发,应用于最优控制、状态估计、系统辨识等领域,在机器人动态多点接触的应用场合(如多指灵巧手操作)有明显优势。MuJoCo 现状介绍MuJoCo最初由华盛顿大学运动控制实验室主任、神经科学家Emo To[...]

撰写于    浏览:499 次  分类: 强化学习
SC2Env入门介绍SC2Env是星际争霸的环境,继承自environment.BaseSC2Env基本用法from pysc2.env import run_loop, sc2_env from pysc2.agents import random_agent from absl import app def main(args): [...]

撰写于    浏览:960 次  分类: 强化学习
1、episode的感性理解强化学习中,episode是个重要的术语。那么episode应该如何理解呢?An episode is one complete play of the agent interacting with the environment in the general RL setting. Episodic tasks in [...]

撰写于    浏览:693 次  分类: 强化学习
batch_size即批大小,如果把全部数据放入内存后再加载到显存中,空间显然不够的;如果一个一个数据加载训练并更新模型参数,效率极低。所以考虑一批一批地加载数据,每次送进去的数量就是batch_size,这样可以加快速度。用minibatch方法时会定义batch_size,即把整个数据集分几份后,每份的大小就是batch-size。假设把100[...]

撰写于    浏览:483 次  分类: 强化学习
RLlib入门介绍RLlib是一个用于强化学习的开源库,为生产级、高度分布式应用环境提供强化学习技术支持。RLlib已经被许多不同垂直领域的行业领导者用于生产,如气候控制、工业控制、制造和物流、金融、游戏、汽车、机器人、船舶设计等。RLlib原生支持Tensorflow和PyTorch,但其内部与这些框架无关。RLlib官网文档https://do[...]

撰写于    浏览:494 次  分类: 强化学习
SUMO简介SUMO,全称Simulation of Urban Mobility,是开源、微观、多模态的交通仿真软件。它纯粹是微观的,可以针对每辆车进行单独控制,因此非常适合交通控制模型的开发。SUMO最大的优点是可以利用TraCI((Traffic Control Interface))接口用Python语言实现模型开发学习SUMO是一个趋势,[...]