了解点Jurgen Schmidbuber
Posted songrotek
tags:
篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了了解点Jurgen Schmidbuber相关的知识,希望对你有一定的参考价值。
前言
可能很多童鞋都知道Andrew Ng,但并不是很多人知道Jurgen Schmidbuber。但在我看来,这位大神真的的超神。由于RNN,LSTM的兴起,Jurgen Schmidbuber开始走入到我们的视线。深入了解一下,发现他的研究超乎想象的前沿。
他的网站:http://people.idsia.ch/~juergen/
他的Google+:https://plus.google.com/100849856540000067209/posts
他的AMA:https://www.reddit.com/r/MachineLearning/comments/2xcyrl/i_am_j%C3%BCrgen_schmidhuber_ama/
那么他有什么惊人的见解呢?下面稍微总结一下。大家从他的AMA其实可以了解很多东西。
世界是确定性的
在他看来,这个世界不存在真正的随机性。而且事实上,随机还只是个假设,并未能证明。大家可以问自己一下:在心里你觉得随机是真的存在吗?
爱因斯坦认为上帝不会掷筛子,也就是他认同没有随机性的观点。而量子力学在Jurgen看来并不能证明随机性。
在他看来这个世界的随机都是伪随机。就像π值,如果要算,它小数点后面的数看起来几乎是随机的,但事实上π可以用很短的程序就计算出来。
反过来想,在未来,随着计算水平的进步,人类完全可以创造一个虚拟世界,逼真程度和我们真实的环境差不多。那么,我们可以确定里面的每个“生物”,但里面的“生物”还完全不知道“。
个人也认可他的观点。
但这个观点会引向宿命论。即任何一个东西的存在都有它存在的意义。任何一个人的一生都是确定的。算命之所以会有很多人相信想必是因为其具备一定的正确性,也可能说明了宇宙的运行函数跟时间有紧密的联系。每个人出生的时间确实对他的命运有直接影响。
未来是RNN的
RNN被证明是Turing Complete,也就是说使用RNN可以模拟任意的一切。当前,RNN,LSTM被广泛使用在自然语言处理,序列到序列的学习(sequence to sequence learning)当中。在未来的5年内,基于RNN的监督学习和增强学习都将取得长足的进步!
特别注意:这里的进展在理论上没有什么是新的,只是由于计算力还有具体模型上的改进,使得算法的效果取得突飞猛进的发展。
所以,接下来几年内,基本的翻译工作绝对会被取代了。而机器人将展现出前所未有的灵活性。
AGI比想象的简单
在他看来,AGI将来实现了反过来看将会是非常简单的描述。实际上智能只是一种表现形式。所谓的自由意志只是确定性的自由意志。没有什么是不可以计算的。
世界的变化是由一个由少到无限的自解压过程
这个观点和老子的一生二,二生三,三生万物的思想一致有木有?
如果单从计算机的角度看,一个数据如何生出无限的数据?
但换个角度看就不一样了:我只给你一个π,就可以生出无限的π的数据不是吗?
其实人类自身也是这样,从一个受精卵竟然能成长为一个人,这本身也是非常神奇的。这个解压过程是如何发生的呢?
奇点Omega的到来
人类的发展呈指数上升的发展速度,但这个点将在2040-2050左右到达极限。那之后是什么?超人类还是超人工智能?还是宇宙这个游戏的结束?Jurgen Schmidbuber 把奇点称为Omega!
难以想象的未来!
反思
易经的智慧
是不是应该想想古代的易经,它抽象地描述了这个宇宙,有没有可能从中悟出别的东西呢?
如何才能超宇宙?
假设我们的宇宙真的只是一段牛逼的上帝程序,我们只是程序里的一小部分代码,那么我们这段代码能否冲破整个程序对我们的设定呢?即跳出这段程序。
如何学习Machine Learning?
摘录一下Jurgen Schmidbuber的建议:
- Sipser’s broad Introduction to the Theory of Computation
A comprehensive Survey of Deep Learning - Bishop’s Pattern Recognition and Machine Learning (bible of traditional machine learning, probabilistic view)
- Thesis of Graves (ex-IDSIA) on Supervised Sequence Labelling with Recurrent Networks (RNNs, not much of this in Bishop’s book)
- Overview of recurrent neural networks with lots of papers
State of the art pattern recognition with deep neural nets on GPUs (lots of recent papers) - Sutton & Barto’s Introduction to Reinforcement Learning (survey of traditional RL)
- Kaelbling et al.s Broader Survey of Reinforcement Learning
- Papers on CoSyNe and Natural Evolution Strategies
- Other recent papers on RNNs that learn control without teachers, by Gomez, Koutnik, Wierstra, Schaul, Sehnke, Peters, Osendorfer, Rueckstiess, Foerster, Togelius, Srivastava, and others
Compressed Network Search - Overviews of artificial curiosity and creativity
- Theoretically optimal universal stuff:
- M. Hutter (ex-IDSIA): Universal Artificial Intelligence. THE book on mathematically optimal universal AI / general problem solvers / universal reinforcement learners (goes far beyond traditional RL and previous AI methods)
- Overview sites on universal RL/AI and Goedel machine and optimal program search and incremental search in program space
- M. Li and P. M. B. Vitanyi. An Introduction to Kolmogorov Complexity and its Applications (2nd edition). Springer, 1997. - THE survey of algorithmic information theory, based on the original work by Kolmogorov and Solomonoff. Foundation of universal optimal predictors and compressors and general inductive inference machines.
以上是关于了解点Jurgen Schmidbuber的主要内容,如果未能解决你的问题,请参考以下文章
了解加权随机化算法,在游戏中进行概率计算,抽取SSR五星卡牌指日可待
ArcGIS微课1000例0006:创建随机点(Create Random Points)