20189221 2018-2019-2 《密码与安全新技术专题》第三周做业

20189221 2018-2019-2 《密码与安全新技术专题》第三周做业

课程:《密码与安全新技术专题》html

班级: 201892
姓名: 郭开世
学号:20189221
上课教师:谢四江
上课日期:2019年3月26日
必修/选修: 选修前端

1.本次讲座的学习总结

讲座主题:基于深度学习的密码分析与设计

人工智能分类:
web

机器学习分类:
算法

机器学习和网络安全资源数据库

密码分析与机器学习

函数 \(x\) \(F(x)\) \(y\)
机器学习 样本 模型 样本
密码分析 明文 密钥 密文

深度学习简介与现状

深度学习“四大天王”express

Geoffrey Hinton多伦多大学的特聘教授,Google AI团队领军人
后端

Hinton即是将BP算法应用到神经网络与深度学习中人员之一,而且是主导者(co-inventor). Hinton 提出了“Dark Knowledge”黑暗知识概念,该概念是受小几率比率事件中的“大部分知识”对于训练与测试中的代价函数是没有影响的。api

Hinton在人工智能领域中无人不知无人不晓是由于其在人工神经网络(Artificial Neural Networks)中所做出的贡献。安全

但事实是,直到2004年,学术界对Hinton的研究仍然提不起兴趣。而这时距离他们首次提出“反向传播”算法已通过了20年,学术界AI广泛的研究方向也与他们相反,都在试图寻找捷径,直接模拟出行为,而不是试图经过模仿大脑的运做来实现。Hinton牛逼的地方在于,在那个充满怀疑的时期,承受着世界的质疑和嘲讽,他仍然潜心于他所相信的科学。网络

Hinton和他的团队强力将“神经网络”从垂死边缘一步步带入到当今的研究与应用的热潮,变成了煊赫一时的的学术界课题,将“深度学习”从边缘课题变成了Google等互联网巨头仰赖的核心技术。目前神经网络与深度学习已在天然语言处理、语音处理以及计算机视觉等领域中获得了空前普遍与成功地应用。

Yann Lecun纽约大学终身教授,Facebook AI实验室负责人

Lecun在多伦多大学随Hinton读博士后,没错,他是Hinton的学生,另外一个神经网络与深度学习大拿。他在皮埃尔玛丽居里大学攻读计算机科学博士学位期间提出后向传播算法。

他现在在Facebook带领团队进行人工智能工做,即他是Facebook人工智能实验室的负责人。他在纽约大学任职了12年,是纽约大学的终身教授,是纽约大学数据科学中心的负责人。为了表彰他在深度学习领域里

Yoshua Bengio蒙特利尔大学终身教授,CIFAR项目负责人

他是ApSTAT技术的发起人与研发大牛。他也是蒙特利尔大学(Université de Montréal)的终身教授,任教超过22年,是机器学习实验室(MILA)的负责人,是CIFAR项目的负责人之一,负责神经计算和自适应感知器等方面。又是加拿大统计学习算法学会的主席,而且是NSERC-Ubisoft主席以及其它。在蒙特利尔大学任教以前,他是ATT MIT的一名机器学习研究员。他的主要贡献在于深度学习与人工智能等领域。

他的研究工做主要聚焦在高级机器学习方面,致力于用其解决人工智能问题,他是仅存的几个仍然全身心投入在学术界的深度学习教授之一。

Andrew Ng斯坦福大学副教授,曾就任于谷歌,百度首席科学家

是否能跟前三位大牛并列彷佛是一件富有争议的事情。的确,在纯理论研究上面NG的光芒不如三大牛,甚至能够说有不小的差距,可是在工程方面的应用他仍然是人工智能领域的权威。NG让人熟知并非学术上的研究,而是他和Daphne
Koller共同建立Coursera(在线教育平台)这一流大学在线课程平台,相信不少受益于Coursera的朋友要跪拜了。

最新消息:Yann LeCun、Geoff Hinton 和 Yoshua Bengio三位教父得到“图灵奖

深度学习与密码分析

  • 基于卷积神经网络的测信道攻击
  • 基于循环神经网络的明文破译
  • 基于生成对抗网络的口令破译
  • 基于深度学习的密码基元识别

深度学习与密码设计

生成对抗网络设计密码

谷歌深度学习项目Google Brain的一个团队已经证实,机器能够学习如何保护他们的信息免受窥探。

研究人员MartínAbadiDavid Andersen证实神经网络或“神经网络” - 松散地基于人工神经元的计算系统 - 能够解决如何使用简单的加密技术。

在他们的实验中,计算机可以使用机器学习进行本身的加密形式,而不须要教授特定的加密算法。加密是很是基础的,特别是与咱们当前的人工设计系统相比。即使如此,它仍然是神经网络的一个有趣的步骤,做者声称“一般并不意味着在密码学方面很出色”。

最初,神经网络在发送秘密消息方面至关差。但随着他们更多的练习,爱丽丝慢慢开发了本身的加密策略,鲍勃研究出如何解密它。

在场景播放15,000次以后,Bob可以将Alice的密文短信转换回纯文本,而Eve能够猜想造成该消息的16位中的8位。因为每一个位只有1或0,这与纯粹机会所指望的成功率相同。该研究发表在arXiv上

咱们并不确切知道加密方法是如何工做的,由于机器学习提供了一种解决方案,但并非一种简单的方法来理解它是如何实现的。在实践中,这也意味着很难为以这种方式建立的加密方法提供任何安全保证,所以对该技术的实际影响多是有限的。

2.学习中遇到的问题及解决

问题1:最近热度很高的AI发展到底怎么样?

问题1解决:

人工智能(英语:Artificial Intelligence,缩写为 AI)亦称机器智能,指由人制造出来的机器所表现出来的智能。一般人工智能是指经过普通计算机程序来呈现人类智能的技术。该词也指出研究这样的智能系统是否可以实现,以及如何实现。同时,有些预测则认为人类的无数职业也逐渐被其取代。

人工智能在通常教材中的定义领域是“智能主体(intelligent agent)的研究与设计”,智能主体指一个能够观察周遭环境并做出行动以达致目标的系统。约翰·麦卡锡于1955年的定义是“制造智能机器的科学与工程”。安德里亚斯•卡普兰(Andreas Kaplan)和迈克尔•海恩莱因(Michael Haenlein)将人工智能定义为“系统正确解释外部数据,从这些数据中学习,并利用这些知识经过灵活适应实现特定目标和任务的能力”。

人工智能的研究是高度技术性和专业的,各分支领域都是深刻且各不相通的,于是涉及范围极广。人工智能的研究能够分为几个技术问题。其分支领域主要集中在解决具体问题,其中之一是,如何使用各类不一样的工具完成特定的应用程序。

AI的核心问题包括建构可以跟人相似甚至超越的推理、知识、规划、学习、交流、感知、移动和操做物体的能力等。人工智能当前仍然是该领域的长远目标。当前强人工智能已经有初步成果,甚至在一些影像识别、语言分析、棋类游戏等等单方面的能力达到了超越人类的水平,并且人工智能的通用性表明着,能解决上述的问题的是同样的AI程序,无须从新开发算法就能够直接使用现有的AI完成任务,与人类的处理能力相同,但达到具有思考能力的统合强人工智能还须要时间研究,比较流行的方法包括统计方法,计算智能和传统意义的AI。当前有大量的工具应用了人工智能,其中包括搜索和数学优化、逻辑推演。而基于仿生学、认知心理学,以及基于几率论和经济学的算法等等也在逐步探索当中。 思惟来源于大脑,而思惟控制行为,行为须要意志去实现,而思惟又是对全部数据采集的整理,至关于数据库,因此人工智能最后会演变为机器替换人类。

AI四小龙

若是说过去五年是中国人工智能的上半场,那么从2019年开始,这个行业正式进入了下半场。

这一年,以计算机视觉起家的AI四小龙,差别化战略正在变得愈发清晰。

商汤向后:全面聚焦云端的独角兽——聚焦云端,作城市级视觉中枢平台。
旷视向前:终端最“重”的独角兽——从后端到前端全面覆盖,走软硬一体化之路。
依图向上:首个跳出人脸识别的独角兽——跳出人脸识别,把医学影像分析做为等同于人脸识别战略地位
云从向下:惟一切入金融核心业务流程的CV公司——金融产品线增长了以风控系统为表明的金融决策方案

「2019 中国人工智能安防峰会」在杭州正式开幕(3.23)

主题一:城市大脑与边缘计算
《城市视觉智能计算平台》:阿里巴巴集团副总裁、达摩院AI中心负责人 华先胜
《AI赋能,共筑将来》:海康威视高级副总裁、研究院院长 浦世亮
《人工智能提高场景化应用体验》:大华股份研发中心副总裁、先进技术研究院院长 殷俊
《地平线AIoT边缘计算芯片,赋能万千行业》:地平线芯片解决方案事业部总经理 张永谦
《安防行业的AI革命》:深瞐科技董事长 陈瑞军
《智能城市的视觉中枢》:商汤科技智慧城市综合业务事业群副总裁 张果琲
《AI安防:浪潮商用机器为AI安防提供强大的计算引擎》:浪潮商用机器有限公司产品部 张琪

主题二:世界顶尖算法应用
《三维视觉从新定义人工智能安防》:港科大教授,CVPR、ICCV大会主席 权龙
《视频监控场景下无约束人脸识别与图像加强》:松下(新加坡)研究院原副院长,澎思科技首席科学家 申省梅

主题三:前端动态识别与智能视频云
《智能进化,安防进入新时代》:华为智能安防产品线副总裁 余虎
《智能安防的精益之道》:触景无限联合创始人 & CEO 肖洪波

主题四:城市AIoT与边缘智能引擎
《人工智能擦亮“城市之眼”》:旷视科技安防事业部总经理 安洋
《智慧园区,无感通行》:千视通CTO 胡大鹏
《助力产业升级,打造方案定义式算法》:腾讯优图首席方案架构师、安防业务线负责人 李牧青
《AI中台引擎:链接、计算与赋能》:中科院自动化所研究员,中科视语创始人 王金桥

问题2:生成对抗网络

问题2解决:

生成对抗网络(Generative Adversarial Network,简称GAN)是非监督式学习的一种方法,经过让两个神经网络相互博弈的方式进行学习。该方法由伊恩·古德费洛等人于2014年提出。

生成对抗网络由一个生成网络与一个判别网络组成。生成网络从潜在空间(latent space)中随机采样做为输入,其输出结果须要尽可能模仿训练集中的真实样本。判别网络的输入则为真实样本或生成网络的输出,其目的是将生成网络的输出从真实样本中尽量分辨出来。而生成网络则要尽量地欺骗判别网络。两个网络相互对抗、不断调整参数,最终目的是使判别网络没法判断生成网络的输出结果是否真实。

生成对抗网络经常使用于生成以假乱真的图片。此外,该方法还被用于生成视频、三维物体模型等。

GAN的原理:

GAN的主要灵感来源于博弈论中零和博弈的思想,应用到深度学习神经网络上来讲,就是经过生成网络G(Generator)和判别网络D(Discriminator)不断博弈,进而使G学习到数据的分布,若是用到图片生成上,则训练完成后,G能够从一段随机数中生成逼真的图像。G, D的主要功能是:

● G是一个生成式的网络,它接收一个随机的噪声z(随机数),经过这个噪声生成图像

● D是一个判别网络,判别一张图片是否是“真实的”。它的输入参数是x,x表明一张图片,输出D(x)表明x为真实图片的几率,若是为1,就表明100%是真实的图片,而输出为0,就表明不多是真实的图片

训练过程当中,生成网络G的目标就是尽可能生成真实的图片去欺骗判别网络D。而D的目标就是尽可能辨别出G生成的假图像和真实的图像。这样,G和D构成了一个动态的“博弈过程”,最终的平衡点即纳什均衡点.

GAN的特色:

● 相比较传统的模型,他存在两个不一样的网络,而不是单一的网络,而且训练方式采用的是对抗训练方式

● GAN中G的梯度更新信息来自判别器D,而不是来自数据样本

GAN 的优势:

(如下部分摘自ian goodfellow 在Quora的问答)

● GAN是一种生成式模型,相比较其余生成模型(玻尔兹曼机和GSNs)只用到了反向传播,而不须要复杂的马尔科夫链

● 相比其余全部模型, GAN能够产生更加清晰,真实的样本

● GAN采用的是一种无监督的学习方式训练,能够被普遍用在无监督学习和半监督学习领域

● 相比于变分自编码器, GANs没有引入任何决定性偏置( deterministic bias),变分方法引入决定性偏置,由于他们优化对数似然的下界,而不是似然度自己,这看起来致使了VAEs生成的实例比GANs更模糊

● 相比VAE, GANs没有变分下界,若是鉴别器训练良好,那么生成器能够完美的学习到训练样本的分布.换句话说,GANs是渐进一致的,可是VAE是有误差的

● GAN应用到一些场景上,好比图片风格迁移,超分辨率,图像补全,去噪,避免了损失函数设计的困难,无论三七二十一,只要有一个的基准,直接上判别器,剩下的就交给对抗训练了。

GAN的缺点:

● 训练GAN须要达到纳什均衡,有时候能够用梯度降低法作到,有时候作不到.咱们尚未找到很好的达到纳什均衡的方法,因此训练GAN相比VAE或者PixelRNN是不稳定的,但我认为在实践中它仍是比训练玻尔兹曼机稳定的多

● GAN不适合处理离散形式的数据,好比文本

● GAN存在训练不稳定、梯度消失、模式崩溃的问题(目前已解决)

最新消息——GAN之父lan Goodfellow离开谷歌加盟苹果

新浪科技讯 北京时间4月5日凌晨消息,据美国媒体CNBC报道,做为曾经谷歌人工智能领域的顶尖人物之一,Ian Goodfellow已加入苹果公司担任总监级别职务。

这段雇佣关系得益于苹果公司愈来愈努力利用人工智能来推进其软件和硬件的发展。去年,苹果公司聘请谷歌人工智能负责人John Giannandrea负责监督人工智能战略。

Goodfellow周四更新了他的LinkedIn我的资料,确认他在3月份从谷歌跳槽到苹果公司。他说他是特殊项目团队的机器学习负责人。除了为FaceID和Siri等功能开发AI以外,苹果公司还一直致力于自动驾驶技术。最近,自动驾驶团队进行了一轮裁人。

一位谷歌发言人证明了他的离职。苹果拒绝发表评论。Goodfellow没有回复评论请求。

Goodfellow是人工智能方法之父,其方法称为生成对抗网络,或GAN。该方法利用两个网络,一个称为生成网络,另外一个称为识别网络,可用于以音频,视频和文本的形式呈现出不寻常的创造性输出结果。

GAN系统已被用于生成“Deepfake”技术进而产生虚假的媒体内容。

Goodfellow于2014年在蒙特利尔大学得到博士学位。从那时起他前后就任于OpenAI和谷歌。根据税务申报资料显示,在OpenAI工做期间,他的工资超过80万美圆。他的研究在学术文献中被普遍引用。

在谷歌工做期间,Goodfellow围绕GAN和网络安全工做,包括一个称为对抗性攻击的领域。以前在苹果公司从事人工智能AI的雇员作过的研究,都是基于GAN技术。

3.本次讲座的学习感悟、思考等

金鑫老师讲课节奏很快。相应的,这次新技术专题课也是我近期收获最大的一堂课。

金鑫老师不只带我了解了不少深度学习、信息安全方面的东西,并且主要带给个人启发是研究方法及研究模式。

在研究生阶段,我仍是想要作些事情的,要抓紧了。

4.GAN研究现状

Unsupervised cipher cracking using discrete GANs

做者:Aidan N. Gomez

投稿:ICLR会议,目前已经做为POSTER接收

年份:2018年

主题:利用GAN破译移位密码和维吉尼亚密码,将GAN应用于离散数据。

移位密码的数学定义,其中p表示明文,c表示密文,k表示密钥,也就是明文要移的位数:

维吉尼亚密码的数学定义,P表示明文,C表示密文,K为密钥,运算在 Z_{26}上进行

GAN

2014年,Goodfellow等人首次提出生成对抗网络GAN,GAN是一种经过对抗过程估计生成模型的深度学习模型,GAN框架中同时训练两个模型,生成模型G和判别模型D,生成模型G以噪声为输入生成数据,判别器D判别生成模型生成的输出数据和真实数据,生成模型想要生成可以与真实数据同样的数据来迷惑判别器D,判别器想要最大几率地判断出伪造的数据和真实数据,G和D构成了一个动态的‘博弈’,经过两个模型互相对抗达到最好的生成效果。原始GAN的目标方程当判别器最优时,最小化真实数据分布 P_{r} 与生成数据分布 P_{g} 之间的JS散度,因为 P_{r}P_{g}之间几乎不可能有不可忽略的重叠,因此不管它们相距多远,JS散度都是常数log2,最终致使生成器的梯度近似于0,梯度消失,这也是原始GAN模型崩溃,训练不稳定的缘由。为了使模型训练更加固,WGAN中提出了Wasserstein距离,又称Earth-Mover(EM)距离,度量两个几率分布 P_{r}P_{g}之间的距离。Wasserstein距离相比KL散度,JS散度的优越性在于,即便两个分布没有重叠,Wasserstein距离仍然可以反映它们的远近。虽然WGAN解决了原始GAN训练不稳定的问题,可是WGAN中因为使用K-Lipschitz函数,限制参数在一个范围中,参数的修剪策略(weight clipping)会致使最优化困难,后来又有论文对WGAN提出改进,提出gradient penalty策略,使得学习到的参数分布正常

cipherGAN

对非平稳嵌入(non-stationary embeddings)进行训练的判别器将不能任意逼近δ-函数分布;这意味着对于X内的元素而言,存在某种“安全区”(safe-zones),在“安全区”内生成器能够有效“欺骗”判别器,防止发生误判。
在实验中,咱们同时训练了嵌入向量做为模型的参数。嵌入向量的梯度更新在训练迭代之间引入噪声;咱们观察到在初始训练步骤以后,嵌入向量倾向于保持在有界区域。咱们发现,利用嵌入向量替换数据与执行命题1中描述的随机抽样具备类似的效果。
重要命题证实

结论
CipherGAN显示了生成对抗网络应用于离散数据解决一些对细微差异极其敏感的困难任务。咱们的工做有助于促进CycleGAN架构对于多类数据的无监督对齐任务的承诺。CipherGAN提出了一种训练中较为稳定的算法,改进了CycleGAN架构。实验证明,使用离散变量的continuous relaxation,不只促进经过离散节点的梯度流动,并且防止常常出现到的误判问题。CipherGAN在结构上是很是通用的,能够直接应用于各类无监督的文本对齐。

Identity-preserving Conditional Generative Adversarial Network

做者:Zhonghua Zhai; Jian Zhai

投稿:2018 International Joint Conference on Neural Networks (IJCNN)

年份:2018

主题:提出了一种用于图像到图像转换的身份保持条件生成对抗网络(IPcGAN)

提出的框架能够在两个域中没有任何对应图像的状况下学习翻译功能,并将真实图像映射到潜在空间和条件表示。与其余做品相反,本论文引入了一个微调过程和一个新颖的联合损失,以保持人的原始身份,同时保持合成面孔的真实性。本论文使用特征错误评估新模型,并证实它比现有模型产生更好的结果。

Modeling Urbanization Patterns with Generative Adversarial Networks

做者:Adrian Albert; Emanuele Strano; Jasleen Kaur; Marta González

投稿:IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium

年份:2018

主题:提出了一种使用全球城市土地利用库存培训的生成对抗网络来模拟超现实城市模式的新方法

现代生成机器学习模型(如GAN)能够成功地用于模拟真实的城市模式。

比较真实的城市建成用地地图(左)和用生成对抗网络(gan)模拟的合成地图(右)。在每种状况下,像素值在[0,1]中而且表示建筑物占据的土地的分数:

Automatic Generation of Facial Expression Using Generative Adversarial Nets

做者:Yoshiharu Kawai; Masataka Seo; Yen-Wei Chen

投稿:2018 IEEE 7th Global Conference on Consumer Electronics (GCCE)

年份:2018

主题:过使用生成对抗网络从天然(无表情)图像生成静态面部表情图像

本论文提出使用条件对抗网络(简称pix2pix)进行图像到图像的翻译。Pix2pix学习从输入图像到输出图像的映射,以及用于训练该映射的损失函数。此方法对于从标签贴图合成照片,从边缘贴图重建对象,着色图像以及其余任务很是有效。做者们使用该网络经过使用图像转换任务生成面部表情变化的图像。

网络结构:

实验结果:

Generating Adversarial Examples With Conditional Generative Adversarial Net

做者:Ping Yu; Kaitao Song; Jianfeng Lu

投稿:2018 24th International Conference on Pattern Recognition (ICPR)

年份:2018

主题:提出了两种新的生成模型来直接生成自适应攻击实例,其中采用条件生成对抗网络,并为训练设计了独特的策略

论文贡献:

  • 与之前的工做不一样,咱们的方法从噪声中生成攻击图像。这样,能够在DNN攻击中节省大量存储成本。
  • 大多数现有方法须要大量计算来产生攻击示例,但咱们的方法只须要一轮前向传播,这很是有效。
  • 咱们在元素和以后应用归一化来解决像素值溢出的问题。

CGAN-F:

CGAN经过注册额外信息来控制网络输出 ÿ在鉴别器和发电机的训练计划中。额外的信息ÿ 能够是任何类型的预期信息,例如,类标签或数据分布,而且一般将其做为附加输入层提供给生成模型和判别模型。

假图像条件生成对抗网的总体架构图:

训练算法:

CGAN-Adv:

目标分类器的体系结构在(a)中描述。CGAN-f的鉴别器和发生器分别如(b)和(c)所示。CGAN-adv的鉴别器和发生器分别显示在(b)和(c)中。

Avearge生成实例的时间对比:

Cloud-Gan: Cloud Removal for Sentinel-2 Imagery Using a Cyclic Consistent Generative Adversarial Networks

做者:Praveer Singh; Nikos Komodakis

投稿: IGARSS 2018 - 2018 IEEE International Geoscience and Remote Sensing Symposium

年份:2018

主题:使用Cloud-GAN解决云覆盖遥感图像在地表分析中产生的问题

本论文解决了这个问题并提出了一个Cloud-GAN来学习阴天图像和无云图像之间的映射。所提出的方法中的adver-sarialloss将生成的图像的分布限制为足够接近非混浊图像的基础分布。使用额外的循环一致性损失来进一步抑制发生器以仅预测与阴天图像中反映的相同场景的无云图像。本论文的方法不只拒绝任何配对(云/无云)训练数据集的必要性,并且还避免须要任何额外的(昂贵的)光谱信息源,例如云可穿透的合成孔径雷达图像。不只拒绝任何配对(云/无云)训练数据集的必要性,并且还避免须要任何额外的(昂贵的)光谱信息源

网络架构:

结果:

Building Footprint Generation Using Improved Generative Adversarial Networks

做者:Yilei Shi ; Qingyu Li]() ; Xiao Xiang Zhu

投稿:IEEE Geoscience and Remote Sensing Letters ( Volume: 16 , Issue: 4 , April 2019 )

年份:2018

主题:提出了改进的生成对抗网络(GAN),用于从卫星图像自动生成建筑物足迹。

本论文利用CGAN和WGAN的优点,提出了条件性Wasserstein生成对抗网络(CWGAN),它能够对生成的数据模式进行控制,也能够实现更稳定的训练。

网络架构:

结果比较:

最近提出的GAN提供了一种学习深度表示的方法,而没有普遍注释的训练数据。该研究旨在探索GAN在建筑物足迹生成性能方面的潜力,并经过修改目标函数来提升其准确性。本论文提出了两种集成了CGAN和WGAN的新型网络架构(CWGAN和CWGAN-GP),以及一个梯度惩罚项,能够指导数据生成过程,提升训练的稳定性。
本论文所提出的方法包括两个网络:发生器中的U-Net架构和鉴别器中的PatchGAN。
做者调查了慕尼黑和柏林的PlanetScope卫星图像,以评估拟议方法的能力。实验结果证明,与现有网络(例如,CGAN,U-Net和ResNet-DUC)相比,所提出的方法能够显着提升建筑物足迹生成的质量。
应该注意的是,本论文提出的方法CWGAN-GP的稳定性几乎消除了全部超参数调整。

参考资料

相关文章
相关标签/搜索