Deep Learn I'm back.

Posted 2021-05-17 彭张智写字的地方

Intorduction:

时隔好几个月，我准备重新进入Deep Learning 的领域。昨天和老师聊了很多，之前觉得我做的工作就是排列组合，在水论文，灌水。但老师却说：这也是为将来的研究打基础。 我想是这么个道理，科研这一块，写论文，发论文，画图等等细枝末节的工作都是需要经验积累的，一开始搞个大的，不现实，就算搞出来，其他细节工作没做好，影响整体质量，也白搭。

任何问题都要辩证地看。

之后老师给我讲了他的一个idea，几年前想的，时空序列方向，通过arrange不同时间维度组成tensor进行卷积，想法很新颖，我从未听说过，但据他说跑出来效果不好，可能调参没做好，后面事情就搁置了。我听到这个idea，欣喜若狂，又恍然大悟。这不就是Deep Learning 领域做research 的过程吗？

想出一个你认为绝妙的idea，实验验证- 不断打磨-不断验证 重复进行，最终要么出成果，要么变成垃圾扔掉。

 

 

Coding:

 

现在呢，对这个领域重拾了一些信心。越来越意识到，在Deep Learning 领域做research 重要的不是Idea 而是 Implementing ability. 说白了就是Coding 的能力。

面向对象要会，基本的编程思想得懂。python要学过，至少要看得懂别人的代码，就算看不懂，也得具备查阅资料把它看懂的能力。框架得熟悉（pytorch），这和python是一个道理。其中贯穿始终的是coding style。

我这几个月的coding 经历发现，很多beginner 包括我，写出来的代码都很烂，像上完厕所用过的纸。 根本没有复用性，没有鲁棒性。这一块想提高，一是去看代码规范的书，二是多做实战多看别人的代码，自己敲一遍，learn by doing。

我推荐的学习顺序是，先做实战，学到点皮毛，再去看书。有实践经验再看书，会有恍然大悟，茅塞顿开的感觉，你在实践中学到的规范会在书里以高观点的方式体现，诠释。相反，先看书再实践，就没有这样的效果了。只会云里雾里。

当然这一切都建立在你有一个comprehensive idea of deep learning( machine learning），这一方面推荐Andrew Ng 的课程。

Keep following:

基础都搭建好了，那每天就得follow 最新的资讯，看看title，abstract，实在懒看看图片也好。总之，follow领域内的热点，看看大家都在干什么。这一步能create new idea，也能enhance 对一些概念的理解，

看到好的文章，甚至能提升你的维度，以更高的观点俯视问题。这方面需要关注一些AI自媒体，我推荐的：@爱可可老师，机器之心等等。这些都能在一些网站上找到：国内有微博、微信公众号、知乎....国外就是reddit, twitter, medium......

Idea:

都说Idea是这个领域最不值钱的东西了，现在人人都有idea，就看谁能最快实现出来。所以我反复强调coding 能力，去跑跑demo 实现一个implementation有益科研之路。更何况coding是每个学计算机的人的看家本事，不论将来从事的方向如何，coding都是基本技能，在一个领域内锻炼出来的coding能力换一个领域也同样适用。即使换方向，你的学习速度也会比别人快很多。这大概就是transfer learning？

关于idea，有一篇文章写的相当 informative.我还没看完，但前几章让我受益匪浅。我意识到，好的idea也是排列组合，只不过他们站在更高，更深的维度上发现的。而不断挖掘深度，是我们一以贯之的使命。

如何在计算机应用领域寻找研究想法 - 钱志云的文章 - 知乎 https://zhuanlan.zhihu.com/p/341685279

如何想到前所未有的idea？ 这让我想到之前在Coursera上上过的一门课《Learning how to learn》，这门课内容丰厚，水平极高。印象最深刻的是前几章的 thinking mode。人的思维方式主要有两种：

1. focus mode 2. diffuse mode 。 focus mode 一般在人集中注意力解决一个问题时发生，比如做数学题。 diffuse mode 一般在人做一些轻松的事情时大脑不自觉地走神而产生的。 diffuse mode是最让我欣喜若狂的。我们所学到的知识在大脑中可以当成一个点，当进入 diffuse mode 后，我们就不自觉地 从一个点跳到另外一个点中，反复的跳跃就能产生灵感。 概念解释的很玄乎。我自己一次亲身的体验是，有一个晚上，我在看学习率调整相关的知识，学的差不多准备刷牙去睡觉时，刷着刷着脑子里突然冒出一个学习率调整的策略，然后赶紧去纸上写下来，不过之后我深入研究发现，别人早就实现了。 因此呢，想要产生一些灵感，不如在进行一次头脑风暴之后去放松放松，说不定就有不错的idea产生~   另外这门课涉及到的其他概念也很有意思，比如 chunking 等等。值得任何人去学习。

 

 

Help: 

学会寻求帮助，前提是保持humble。coding上，理论上总有牛人，他们懂的比你多，理解的深度比你深，他们的work会惊掉你的下巴。和他们学习，遇到问题向他们寻求帮助。我所认识的绝大多数人都很nice，不会嫌弃你的问题。我最开始做的时候，需要复现一段代码，当时代码跑不通，我去调，coding上遇到了好多问题，就是一位学长不停的指导我，恶补了很多知识，学到很多技巧，有时问他这段代码应该怎么写，他直接把代码敲好发我。其次应该多找老师帮忙，前提是老师人很好。一些研究上的事，一些郁闷的事情，都能和老师交流。我是间隔了快一个学期才去找老师聊聊，聊完后豁然开朗。后悔没有找点找他。。。当然了，和nice的人交往，自己也要足够nice。这一点至关重要。

 

最后一段话是写给自己的。出国只看重绩点，而在这个学校，等到考试周抱佛脚，也能有个不错的成绩。学校不卷，绩点不难刷。因此你有大把的时间来做其他事情。你的退路有很多。科研是你的一个爱好，和运动、弹吉他一般，但略高于他们。你会面临更大的困难，要付出更多的时间，精力。做研究不像上课，你面对的是未知的深渊，没有正确答案，没有人懂你的研究内容，你没有同学可以交流讨论。结果的正确性只能靠实验结果验证。突然有一天你脑袋里冒出一个你认为绝妙的idea，你为这个理论想到了完美的解释，根据你的解释，模型一定会work的非常好，经过几个月的实验验证，你怎么都调不好，performance越来越差，你会自我怀疑，妄自菲薄。习惯他，推倒重来。你舍不得，不甘心。但没有用。深渊就是深渊，错了就得放弃。

无论如何，都不要丧失掉自己的热情！！！

做pure researcher~