摘要:算法
大白话解释字典学习,分享第五个月的学习过程,人生感悟,最后是自问自答。ide
目录:学习
1.字典学习(Dictionary Learning,DL)优化
2.学习过程网站
3.自问自答idea
内容:spa
1.字典学习(Dictionary Learning,DL)翻译
——若是把“0”,“1”看作是字典中的“字”,万事万物皆可用字典表示。图片
对于汉字来讲,只含“0”,“1”字典就显得过于简单,《康熙字典》47035个汉字又臃肿了些,《现代汉语经常使用字表》就3500个汉字彷佛刚恰好,这样咱们就能把随便一篇文章表示成3500个元素组成的向量a。固然了,这个向量大部分元素可能都是0,咱们把向量a叫作文章的稀疏表达。文档
然而在现实生活中,除了各类语言的字典,也没据说过其它字典了。可是咱们开篇就夸下了海口,万事万物皆可用字典表示,如今来了一批图片X,怎么学它们的字典D(Dictionary)呢?这就是所谓的字典学习,也能够叫作稀疏表达。
咱们只知道图片X,字典D和稀疏表达A是未知的,这时候咱们可使用KSVD算法交替求解A和D,即固定D求A,固定A逐列更新D,直到D不改变。
字典学习是一个比较容易理解的思想,一般要和其余的一些方法结合,应用在不一样的场景,如多任务、多目标、多步学习等。值得注意的是,我阅读的几篇文章都不止学习一个字典,即既要学习共享字典,又要学习独立字典,充分发掘源域S和目标域T组合之间的关系(如S-S, S-T, T-T),再结合如今比较流行的深度学习会取得比较好的实验效果。
2.学习过程
这个月主要就在看老师给的文章,并在组会的时候作了汇报,说实话,看论文对我来讲不容易,在汇报的过程当中被问到一些细节的东西解释不清,有些东西只有本身亲身经历过才会明白。至此我论文阅读分有了更深入的理解。首先是语言关,论文是用英文写的,首先得把论文读顺,其中涉及的专有名词得翻译得当。其次是理解思想和实验设置。最后是公式推导、优化求解和代码实现。除此之外,论文思想方法的由来,论文写做团队的最新进展也是须要了解的。
最近导师让咱们了解一下对抗域适应和部分迁移学习相关的内容,我选了这篇 [Partial Adversarial Domain Adaptation-eccv18],但愿能在学期末组会的时候能对这篇文章和涉及的知识点有系统深刻地认识。最起码要比此次组会的表现强!
3.自问自答
Q1:如何有系统的学习一个新方向?
A1:首先,找到这个方向的国内的学术带头人。而后,找到他学生的硕博论文,通常来讲硕博论文会比较系统的介绍这个方向,对于阅读和理解外文资料有很大的帮助。
Q2:如何面对论文中看不懂的公式?
A2:若是数学基础薄弱,就尽量地尝试去了解公式的物理意义,最起码每个符号的含义要了如指掌。最好挑选一篇附有代码的文章去实践,据说,只要代码理解了,文章以及公式天然就理解了。
Q3:arXiv是干吗的?
A3:读音如archive(档案),英 [ˈɑ:kaɪv],美 [ˈɑrkaɪv]。为了防止本身的idea在论文被收录前被别人剽窃,咱们会将预稿上传到arxiv做为预收录,所以这就是个能够证实论文原创性(上传时间戳)的文档收录网站。因为arXiv上的文章多半都会投稿到学术期刊,做者对文章多半保持严谨态度(文章质量参差不齐,若是是初学者,最好请老师帮忙看一下)。
Q4:第一次开组会讲论文是什么体验?
A4:卡壳严重,被问到公式的时候讲不清楚。老师说,读一篇论文不是说简单读一读就完事了,要把论文变成本身的东西,之后见到了才能想得起来,用得起来。我相信有不少人和我同样,既想追求广度,又想追求深度,可是通过这5个月的探索,我认为须要把同样东西学精。