凯发娱乐城

注册游戏账号

新葡京娱乐城

进入游戏大厅

博天堂娱乐城

真人棋牌游戏开户

您现在的位置:电子游艺 > 赌场老虎机种类 > NT西部牛仔游戏 > 正文

学习—NT西部牛仔游戏—多臂老虎机问题

来源:http://www.2288yule.net 作者:NT西部牛仔游戏

真人棋牌游戏

博天堂

编者按:无论有没有去过赌场,相信大多数人都不会对老虎机感到陌生。

作为赌场里最常见的娱乐设备,老虎机不仅在现实中广受人们欢迎,它也频繁出现在电视电影乃至动画片中,连一些常见的APP里都有它的身影。

往机器里投入硬币后,玩家需要拉下拉把转动玻璃框中的图案,如果三个图案一致,玩家能获得所有累积奖金;如果不一致,投入的硬币就会被吞入累积奖金池。

这个问题看似简单,但很多人也许都忽视了,其实它和围棋、游戏一样,也是个强化学习问题。

首先,我们要明确一点——老虎机问题是表格型解决方案工具的一种。

之所以这么说,是因为我们可以把所有可能的状态放进一个表格中,然后让表格告诉我们需要了解的问题状态,继而为解决问题找出切实的解决方案。

假设我们有一台K臂老虎机,每根拉杆都能提供固定的一定数额的金钱,一次只能拉下一根拉杆,但我们不知道它们的具体回报是多少。

在这个情景中,k根拉杆可以被视为k种不同的动作(action),拉下拉杆的总次数T是我们的总timestep。

整个任务的目标是实现收益的最大化。

设在第次拉下拉杆时,我们采取的动作是,当时获得的回报是。

那么对于任意动作,它的动作值(value)是:

把上面这个句子再读三四遍,你觉得它行得通吗?如果我们事先已经知道拉下这个拉杆的最大收益是多少,那出于贪婪的目的,我们肯定每次都会选最好的动作,然后使最终回报最大化。

但在强化学习问题中,贪婪算法并不一定等同于最优策略,这一步的贪婪可能会对下一步产生负面影响。

注:上文中的回报(reward)和动作值(value)不是同一个概念。

回报指的是执行动作后的当场回报,动作值是一个长期的回报。

如果你吸毒了,一小时内你很high,回报很高,但长期来看,你获得的动作值就很可怕了。

需要注意的是,因为老虎机只需要一个动作,NT西部牛仔游戏所以这里的不是未来回报之和,只是期望回报,它和其他地方的也不一样(虽然有滥用符号之嫌,但还是请多包涵啦)。

上述等式看起来好像有什么说法,但它其实很简单——选择动作时,我们获得的平均回报是多少。

这个均值可以被视为的近似值,因为换几个符号,我们就能发现这就是强大数定律(SLLN)的表达式。

“贪婪者总是一贫如洗。

”当面对巨大诱惑时,一些人会因为贪婪越过自己的底线,去吸毒,去犯罪,但他们在获得短暂快感的同时也失去了更多东西。

强化学习中同样存在类似的问题,如果它是贪婪的,它会找出迄今为止最大的动作值:

并依据这个动作值去选择每一步动作。

这样做的后果是智能体从头到尾只会选择同一套动作,而从不去尝试其他动作,这样的策略并不是最优策略。

那么我们该怎么纠正它的贪婪?之前我们在《强化学习——蒙特卡洛方法介绍》一文中已经介绍过:对于任何时刻的执行exploration小概率,我们会有的概率会进行exploration,有的概率进行exploitation。

这可以简单理解成抛硬币,除了正面和反面,它还有一个极小的立起来的概率。

导致这种现象的主要原因是动作值会随时间推移发生变化,即之前我们研究的是静态的拉杆,而不是随机的、动态的拉杆。

以动作值为例,比起我们之前假设的,它更应该被表示成。

看起来SGD可以在这里发挥一些作用。

如果它是平稳的,那收敛的概率就是100%;如果它不平稳,我们一般不希望,因为当前回报会影响当前的动作值。

这是一个指数平均值,它在几何上衰减之前回报的权重。

设函数是第个timestep,NT西部牛仔游戏也就是第次拉下拉杆时某个特定回报的权重。

因为老虎机问题只需考虑动作,所以这个函数也可以简化成。

上式表示对于任何初始值,它都满足。

这个条件要求保证timestep足够大,以最终克服任何初始条件或随机波动

这个式子表示这些timestep将“足够小以确保能收敛到一个小值”。

简而言之,第二个条件保证最终timestep会变小,以保证收敛。

这些猜想都是正确的,但这个阈值也有它存在的价值。

我们在之前的上继续计算,NT西部牛仔游戏最后可以获得一项,因为小于1,所以给予的权重随着介入奖励次数的增加而减少。

到目前为止,我们必须随机设定的初始值,它本质上是一组用于初始化的超参数。

这里有个小诀窍,我们可以设初始值,其中。

这样之后,因为偏高,这时智能体会积极探索其他动作,当它越来越接近时,智能体就开始贪婪了。

换句话说,假设我们设当前拉杆的乐观回报是3,但它实际上最高能获得的回报只有2.5,智能体尝试一次后,发现回报只有1,低于乐观值,NT西部牛仔游戏于是它会把其他拉杆全部尝试一遍。

虽然前期效率很低,但到后期,智能体已经掌握哪些拉杆会产生高值,效果就接近“贪婪”了。

这种方法是可行的,在某种程度上,如果时间充裕,这个过程也可以被看作是模拟退火。

但从整体来看,NT西部牛仔游戏乐观初始值前期的大量“exploration”是不必要的,它对于非平稳问题来说不是最好的答案。

在机器学习系统中,Bias与Variance往往不可兼得:如果要降低模型的Bias,Bias就会不可避免地提高。NT西部牛仔游戏

针对两者间的trade-off,下面的式子是一个很好的总结:

置信上限(UCB)是一个非常强大的算法,它可以用类似Bias-Variance权衡的方法来解决不同的问题。

在老虎机问题中,我们可以把timestep当成假设集大小,因为随着t逐渐增加,也会逐渐增加,相应的就很难选择。

每选一次,不确定项就会减少,分母增加;另一方面,每一次选择了以外的动作,会增加但不会改变,不确定评估值会增加。

截至目前,我们一直在努力估计,NT西部牛仔游戏但如果说这个问题还有除了行动值以外的解决方法呢?比如我们该如何学习一个动作的偏好?

设动作偏好为,NT西部牛仔游戏它和回报无关,只是一个动作相对于另一个动作的重要性。

那么应该符合gibbs分布(也就是机器学习的softmax分布):

对于这个式子,我们该怎么基于梯度计算最大似然估计?首先,我们对做梯度上升,因为它是我们的变量。

我们想最大化:

因为被包含在动作a的预期值内,它也可以被写成。

现在就只剩一个问题了:等式里的是什么?坦率地说,NT西部牛仔游戏你想它是什么它就是什么,严谨起见,我们可以把当成的平均值。

  • 原文标题:学习—NT西部牛仔游戏—多臂老虎机问题
  • xpj

    9you娱乐城

    特别推荐

    
  • 澳门网上赌场
  • 澳门威尼斯人赌场官网
  • 老挝赌场
  • 区块链百家乐游戏
  • 搜索留痕方法
  • 赌球地址
  • 澳门太阳城网址
  • 全球最大博彩公司
  • 网上买球网站
  • bbin平台直营
  • 博彩公司
  • 加密货币交易所
  • 欧易为什么不清退
  • 中币跑路
  • 亚洲博彩公司
  • 澳门在线赌场
  • 菲律宾马尼拉赌场
  • 正规博彩平台
  • 大陆博彩平台
  • 澳门新葡京娱乐场
  • 世界赌场名单
  • 全讯导航网
  • 菠菜论坛
  • 东南亚赌博网站
  • 虚拟币博彩游戏
  • 澳门百家乐网址
  • 网上博彩导航
  • 数字币博彩网站
  • 马来西亚博彩公司
  • 越南赌场
  • 香港赌场
  • 澳大利亚赌博网站
  • 足球赔率
  • 菲律宾网上赌场
  • 加密货币赌博平台
  • 足球投注网站
  • 网络博彩论坛
  • 皇冠最新网址
  • 博彩公司排名
  • 推广引流方法
  • 推广话术
  • 数字币赌场
  • 皇冠现金网
  • 世界杯博彩公司
  • 英国博彩公司
  • 泰国在线赌场
  • 新加坡赌场
  • 比特币博彩公司
  • 洗钱平台
  • 泰达币赌场
  • 世界杯网上赌球
  • 博彩推广方式
  • 印度尼西亚博彩平台
  • 棋牌包网
  • bbin官网
  • 体育博彩公司
  • 越南赌博平台
  • 百家乐路单
  • 澳门博彩有限公司
  • 体育博彩公司排名
  • 百家乐网址
  • 世界杯赌球网站
  • 皇冠现金网
  • 怎么洗钱
  • 买球平台
  • 欧洲杯赌球平台
  • 皇冠博彩网址
  • 外围赌球网站
  • 果敢赌场
  • 赌球技巧
  • 电子游艺平台
  • 电子游戏机
  • 赌大小怎样赢钱
  • 体育投注平台
  • 合法网上赌场
  • 缅甸赌场网址
  • 欧洲杯赌球网站
  • 赌场如何赢钱
  • 买球地址
  • 真人牌九游戏
  • 时时彩技巧
  • 六合彩官方网站
  • 威尼斯人网上赌场
  • 外围赌球
  • 赌博网址
  • 彩票游戏群
  • 微信赌博群
  • 韩国网上赌场
  • 网上赌钱游戏
  • 美国在线赌场
  • 沙巴体育官网
  • 博彩平台推荐
  • 哈希娱乐
  • 比特币赌场
  • 世界赌场排名
  • 美国赌场攻略
  • 菠菜论坛
  • 买球网站
  • 缅甸果敢赌场
  • 支持人民币的博彩网站
  • 纽约网上赌场
  • 缅甸赌博网站
  • 柬埔寨网上赌场
  • 柬埔寨赌博网站
  • 韩国博彩公司
  • 支持人民币的博彩公司