Deep Learn I'm back.

Intorduction:

时隔好几个月，我准备从新进入Deep Learning 的领域。昨天和老师聊了不少，以前以为我作的工做就是排列组合，在水论文，灌水。但老师却说：这也是为未来的研究打基础。 我想是这么个道理，科研这一块，写论文，发论文，画图等等细枝末节的工做都是须要经验积累的，一开始搞个大的，不现实，就算搞出来，其余细节工做没作好，影响总体质量，也白搭。

任何问题都要辩证地看。

以后老师给我讲了他的一个idea，几年前想的，时空序列方向，经过arrange不一样时间维度组成tensor进行卷积，想法很新颖，我从未据说过，但据他说跑出来效果很差，可能调参没作好，后面事情就搁置了。我听到这个idea，欣喜若狂，又恍然大悟。这不就是Deep Learning 领域作research 的过程吗？

想出一个你认为绝妙的idea，实验验证- 不断打磨-不断验证 重复进行，最终要么出成果，要么变成垃圾扔掉。

 

 

Coding:

 

如今呢，对这个领域重拾了一些信心。愈来愈意识到，在Deep Learning 领域作research 重要的不是Idea 而是 Implementing ability. 说白了就是Coding 的能力。

面向对象要会，基本的编程思想得懂。python要学过，至少要看得懂别人的代码，就算看不懂，也得具有查阅资料把它看懂的能力。框架得熟悉（pytorch），这和python是一个道理。其中贯穿始终的是coding style。

我这几个月的coding 经历发现，不少beginner 包括我，写出来的代码都很烂，像上完厕所用过的纸。 根本没有复用性，没有鲁棒性。这一块想提升，一是去看代码规范的书，二是多作实战多看别人的代码，本身敲一遍，learn by doing。

我推荐的学习顺序是，先作实战，学到点皮毛，再去看书。有实践经验再看书，会有恍然大悟，茅塞顿开的感受，你在实践中学到的规范会在书里以高观点的方式体现，诠释。相反，先看书再实践，就没有这样的效果了。只会云里雾里。

固然这一切都创建在你有一个comprehensive idea of deep learning( machine learning），这一方面推荐Andrew Ng 的课程。

Keep following:

基础都搭建好了，那天天就得follow 最新的资讯，看看title，abstract，实在懒看看图片也好。总之，follow领域内的热点，看看你们都在干什么。这一步能create new idea，也能enhance 对一些概念的理解，

看到好的文章，甚至能提高你的维度，以更高的观点俯视问题。这方面须要关注一些AI自媒体，我推荐的：@爱可可老师，机器之心等等。这些都能在一些网站上找到：国内有微博、微信公众号、知乎....国外就是reddit, twitter, medium......

Idea:

他们都说Idea是这个领域最不值钱的东西了，如今人人都有idea，就看谁能最快实现出来。因此我反复强调coding 能力，按期去跑跑demo 实现一个implementation有益科研之路。更况且coding是每一个学计算机的人的看家本事，不论未来从事的方向如何，coding都是基本技能，在一个领域内锻炼出来的coding能力换一个领域也一样适用。即便换方向，你的学习速度也会比别人快不少。这大概就是transfer learning？

关于idea，有一篇文章写的至关 informative.我还没看完，但前几章让我受益不浅。我意识到，好的idea也是排列组合，只不过他们站在更高，更深的维度上发现的。而不断挖掘深度，是咱们一以贯之的使命。

如何在计算机应用领域寻找研究想法 - 钱志云的文章 - 知乎 https://zhuanlan.zhihu.com/p/341685279

钱志云

计算机教授@加州大学河滨分校

 

Help: 

学会寻求帮助，前提是保持humble。coding上，理论上总有牛人，他们懂的比你多，理解的深度比你深，他们的work会惊掉你的下巴。和他们学习，遇到问题向他们寻求帮助。我所认识的绝大多数人都很nice，不会嫌弃你的问题。我最开始作的时候，须要复现一段代码，当时代码跑不通，我去调，coding上遇到了好多问题，就是一位学长不停的指导我，恶补了不少知识，学到不少技巧，有时问他这段代码应该怎么写，他直接把代码敲好发我。其次应该多找老师帮忙，前提是老师人很好。一些研究上的事，一些郁闷的事情，都能和老师交流。我是间隔了快一个学期才去找老师聊聊，聊完后豁然开朗。后悔没有找点找他。固然了，和nice的人交往，本身也要足够nice。这一点相当重要。

 

最后一段话是写给本身的。出国只看重绩点，而在这个学校，等到考试周抱佛脚，也能有个不错的成绩。学校不卷，绩点不难刷。所以你有大把的时间来作其余事情。你的退路有不少。科研是你的一个爱好，和运动、弹吉他通常，但略高于他们。你会面临更大的困难，要付出更多的时间，精力。作研究不像上课，你面对的是未知的深渊，没有正确答案，没有人懂你的研究内容，你没有同窗能够交流讨论。结果的正确性只能靠实验结果验证。忽然有一天你脑壳里冒出一个你认为绝妙的idea，你为这个理论想到了完美的解释，根据你的解释，模型必定会work的很是好，通过几个月的实验验证，你怎么都调很差，performance愈来愈差，你会自我怀疑，妄自菲薄。习惯他，推倒重来。你舍不得，不甘心。但没有用。深渊没有感情，错了就得放弃。

但行好事，莫问前程。作pure researcher~

idea the content of cognition; the main thing you are thinking about More (Definitions, Synonyms, Translation)