AlphaGo Zero到底是怎么学习成为了无敌的存在?

人工智能棋手 AlphaGo 先后战胜了两位顶尖围棋高手李世乭和柯洁。在这场猛烈风暴席卷了世界后,AlphaGo 宣布不再和人下棋。但它的制造者并没有因此停下脚步,AlphaGo 还在成长,今天 Deepmind 又在《自然》期刊上发表了关于 AlphaGo 的新论文。这篇论文中的 AlphaGo 是全新的、它不是战胜柯洁的那个最强的 Master,但却是它的孪生兄弟。它的名字叫 AlphaGo Zero,是AlphaGo 的最新版本。和以前的 AlphaGo 相比,它:
从零开始学习,不需要任何人类的经验
使用更少的算力得到了更好的结果
发现了新的围棋定式
将策略网络和值网络合并
使用了深度残差网络
白板理论(Tabula rasa)
哲学上有种观点认为,婴儿生下来是白板一块,通过不断训练、成长获得知识和智力。作为 AI 领域的先驱,图灵使用了这个想法。在提出了著名的「图灵测试」的论文中,他从婴儿是一块白板出发,认为只要能用机器制造一个类似小孩的 AI,然后加以训练,就能得到一个近似成人智力,甚至超越人类智力的 AI。现代科学了解到的事实并不是这样,婴儿生下来就有先天的一些能力,他们偏爱高热量的食物,饿了就会哭闹希望得到注意。这是 DNA 在亿万年的演化中学来的。
AlphaGo Zero到底是怎么学习成为了无敌的存在?
监督和无监督学习
计算器则完全不同,它没有亿万年的演化,因此也没有这些先天的知识,是真正的「白板一块」。监督学习和无监督学习(Supervised & Unsupervised Learning)是镜子的两面,两者都想解决同一个问题——如何让机器从零开始获得智慧?监督学习认为人要把自己的经验教给机器。拿分辨猫猫和狗狗的 AI 来说,你需要准备几千张照片,然后手把手教机器——哪张照片是猫,哪张照片是狗。机器会从中学习到分辨猫狗的细节,从毛发到眼睛到耳朵,然后举一反三得去判断一张它从没见过的照片是猫猫还是狗狗。而无监督学习认为机器要去自己摸索,自己发现规律。人的经验或许能帮助机器掌握智慧,但或许人的经验是有缺陷的,不如让机器自己发现新的,更好的规律。人的经验就放一边吧。
AlphaGo Zero到底是怎么学习成为了无敌的存在?
从无知到无敌
就像这篇新论文中讲述的那样。AlphaGo Zero 是无监督学习的产物,而它的双胞胎兄弟 Master 则用了监督学习的方法。在训练了 72 小时后 AlphaGo Zero 就能打败战胜李世乭的 AlphaGo Lee,相比较 AlphaGo Lee 训练了几个月。而 40 天后,它能以 89:11 的成积,将战胜了所有人类高手的 Master 甩在后面。图灵的白板假设虽然无法用在人身上,但是 AlphaGo Zero 证明了,一个白板 AI 能够被训练成超越人类的围棋高手。参考重要信息来源于:胜博发灾民祈福 http://chiayuan.org.tw/

强化学习
强化学习(Reinforcement Learning)是一种模仿人类学习方式的模型,它的基本方法是:要是机器得到了好的结果就能得到奖励,要是得到差的结果就得到惩罚。AlphaGo Zero 并没有像之前的兄弟姐妹一样被教育了人类的围棋知识。它只是和不同版本的自己下棋,然后用胜者的思路来训练新的版本,如此不断重复。通过这一方法,AlphaGo Zero 完全自己摸索出了开局,收官,定式等以前人类已知的围棋知识,也摸索出了新的定势。
AlphaGo Zero到底是怎么学习成为了无敌的存在?
算法和性能
如何高效合理得利用计算资源?这是算法要解决的一个重要问题。AlphaGo Lee 使用了 48 个 TPU,更早版本的 AlphaGo Fan 使用了 176 个 GPU,而 Master 和 AlphaGo Zero 仅仅用了 4 个 TPU,也就是说一台计算机足够!AlphaGo Zero 在 72小时内就能超越 AlphaGo Lee 也表明,优秀的算法不仅仅能降低能耗,也能极大提高效率。另外这也说明,围棋问题的复杂度并不需要动用大规模的计算能力,那只是浪费。
AlphaGo Zero到底是怎么学习成为了无敌的存在?
Deepmind 的历程
这不是 Deepmind 第一次在《自然》期刊上投稿,他们还发表过《利用深度神经网络和搜索树的围棋 AI》和《AI 计算机游戏大师》等几篇论文。我们可以从中一窥 Deepmind 的思路,他们寻找人类还没有理解原理的游戏,游戏比起现实世界的问题要简单很多。然后他们选择了两条路,一条道路是优化算法,另外一条道路是让机器不受人类先入为主经验的影响。这两条路交汇的终点,是那个超人的 AI。
AlphaGo Zero到底是怎么学习成为了无敌的存在?
结语
这是 AlphaGo 的终曲,也是一个全新的开始,相关技术将被用于造福人类,帮助科学家认识蛋白质折迭,制造出治疗疑难杂症的药物,开发新材料,以制造以出更好的产品。

猜你喜欢

转载自blog.51cto.com/13373212/2325495