了解点Jurgen Schmidbuber

Posted songrotek

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了了解点Jurgen Schmidbuber相关的知识,希望对你有一定的参考价值。

前言


可能很多童鞋都知道Andrew Ng,但并不是很多人知道Jurgen Schmidbuber。但在我看来,这位大神真的的超神。由于RNN,LSTM的兴起,Jurgen Schmidbuber开始走入到我们的视线。深入了解一下,发现他的研究超乎想象的前沿。
他的网站:http://people.idsia.ch/~juergen/
他的Google+:https://plus.google.com/100849856540000067209/posts
他的AMA:https://www.reddit.com/r/MachineLearning/comments/2xcyrl/i_am_j%C3%BCrgen_schmidhuber_ama/

那么他有什么惊人的见解呢?下面稍微总结一下。大家从他的AMA其实可以了解很多东西。

世界是确定性的

在他看来,这个世界不存在真正的随机性。而且事实上,随机还只是个假设,并未能证明。大家可以问自己一下:在心里你觉得随机是真的存在吗?

爱因斯坦认为上帝不会掷筛子,也就是他认同没有随机性的观点。而量子力学在Jurgen看来并不能证明随机性。

在他看来这个世界的随机都是伪随机。就像π值,如果要算,它小数点后面的数看起来几乎是随机的,但事实上π可以用很短的程序就计算出来。

反过来想,在未来,随着计算水平的进步,人类完全可以创造一个虚拟世界,逼真程度和我们真实的环境差不多。那么,我们可以确定里面的每个“生物”,但里面的“生物”还完全不知道“。

个人也认可他的观点。

但这个观点会引向宿命论。即任何一个东西的存在都有它存在的意义。任何一个人的一生都是确定的。算命之所以会有很多人相信想必是因为其具备一定的正确性,也可能说明了宇宙的运行函数跟时间有紧密的联系。每个人出生的时间确实对他的命运有直接影响。

未来是RNN的

RNN被证明是Turing Complete,也就是说使用RNN可以模拟任意的一切。当前,RNN,LSTM被广泛使用在自然语言处理,序列到序列的学习(sequence to sequence learning)当中。在未来的5年内,基于RNN的监督学习和增强学习都将取得长足的进步!

特别注意:这里的进展在理论上没有什么是新的,只是由于计算力还有具体模型上的改进,使得算法的效果取得突飞猛进的发展。

所以,接下来几年内,基本的翻译工作绝对会被取代了。而机器人将展现出前所未有的灵活性。

AGI比想象的简单

在他看来,AGI将来实现了反过来看将会是非常简单的描述。实际上智能只是一种表现形式。所谓的自由意志只是确定性的自由意志。没有什么是不可以计算的。

世界的变化是由一个由少到无限的自解压过程

这个观点和老子的一生二,二生三,三生万物的思想一致有木有?
如果单从计算机的角度看,一个数据如何生出无限的数据?
但换个角度看就不一样了:我只给你一个π,就可以生出无限的π的数据不是吗?

其实人类自身也是这样,从一个受精卵竟然能成长为一个人,这本身也是非常神奇的。这个解压过程是如何发生的呢?

奇点Omega的到来

人类的发展呈指数上升的发展速度,但这个点将在2040-2050左右到达极限。那之后是什么?超人类还是超人工智能?还是宇宙这个游戏的结束?Jurgen Schmidbuber 把奇点称为Omega!

难以想象的未来!

反思

易经的智慧

是不是应该想想古代的易经,它抽象地描述了这个宇宙,有没有可能从中悟出别的东西呢?

如何才能超宇宙?

假设我们的宇宙真的只是一段牛逼的上帝程序,我们只是程序里的一小部分代码,那么我们这段代码能否冲破整个程序对我们的设定呢?即跳出这段程序。

如何学习Machine Learning?

摘录一下Jurgen Schmidbuber的建议:

  • Sipser’s broad Introduction to the Theory of Computation
    A comprehensive Survey of Deep Learning
  • Bishop’s Pattern Recognition and Machine Learning (bible of traditional machine learning, probabilistic view)
  • Thesis of Graves (ex-IDSIA) on Supervised Sequence Labelling with Recurrent Networks (RNNs, not much of this in Bishop’s book)
  • Overview of recurrent neural networks with lots of papers
    State of the art pattern recognition with deep neural nets on GPUs (lots of recent papers)
  • Sutton & Barto’s Introduction to Reinforcement Learning (survey of traditional RL)
  • Kaelbling et al.s Broader Survey of Reinforcement Learning
  • Papers on CoSyNe and Natural Evolution Strategies
  • Other recent papers on RNNs that learn control without teachers, by Gomez, Koutnik, Wierstra, Schaul, Sehnke, Peters, Osendorfer, Rueckstiess, Foerster, Togelius, Srivastava, and others
    Compressed Network Search
  • Overviews of artificial curiosity and creativity
  • Theoretically optimal universal stuff:
  • M. Hutter (ex-IDSIA): Universal Artificial Intelligence. THE book on mathematically optimal universal AI / general problem solvers / universal reinforcement learners (goes far beyond traditional RL and previous AI methods)
  • Overview sites on universal RL/AI and Goedel machine and optimal program search and incremental search in program space
  • M. Li and P. M. B. Vitanyi. An Introduction to Kolmogorov Complexity and its Applications (2nd edition). Springer, 1997. - THE survey of algorithmic information theory, based on the original work by Kolmogorov and Solomonoff. Foundation of universal optimal predictors and compressors and general inductive inference machines.

以上是关于了解点Jurgen Schmidbuber的主要内容,如果未能解决你的问题,请参考以下文章

了解加权随机化算法,在游戏中进行概率计算,抽取SSR五星卡牌指日可待

[数学建模]蒙特卡罗方法

平行四边形内的随机点

ArcGIS微课1000例0006:创建随机点(Create Random Points)

ArcGIS微课1000例0006:创建随机点(Create Random Points)

ArcGIS生成随机点