2018-2019-2 20189206 《密码与安全新技术专题》 第三次做业

学号 2018-2019-2 《密码与安全新技术专题》第三次做业

课程：《密码与安全新技术专题》

班级： 1892

姓名： 王子榛

学号：20189206

上课教师：金鑫

上课日期：2019年2月25日

1.本次讲座的学习总结

基于深度学习的密码分析与设计初探

人工智能

人工智能（Artificial Intelligence），英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。同时，人工智能所涉及的领域不少，机器学习只是其中的一个研究方向。

由上图能够看到，人工智能的领域十分普遍，包括

• planning and scheduling 规划与调度
• Expert System 专家系统
  • 专家们的知识——即解决问题的方法与方式，可被保存和习得，它可被保存放在计算机设备中，并可被别人须要时使用。在人工智能中，专家系统是模拟人类专家决策能力的计算机系统。专家系统旨在经过知识体系推理来解决复杂问题，主要表现为if-then规则而不是传统的程序代码。
• multi-agent systems 多代理体系或自组织系统
  • 是多个交互的组成的计算机系统的智能代理。多代理系统能够解决单个代理或单个系统难以或不可能解决的问题。智能能够包括方法，功能，程序方法，算法搜索或强化学习。
• Evolutionary Computation 进化计算
  • 在计算机科学领域，进化计算（Evolutionary Computation）是人工智能（Artificial Intelligence），进一步说是智能计算（Computational Intelligence）中涉及到组合优化问题的一个子域。其算法是受生物进化过程当中“优胜劣汰”的天然选择机制和遗传信息的传递规律的影响，经过程序迭代模拟这一过程，把要解决的问题看做环境，在一些可能的解组成的种群中，经过天然演化寻求最优解。
• Fussy Logic and Rough Set 粗糙逻辑模糊集
• Knowledge Learning
• Knowledge Representation 知识表示
  • 知识表示（knowledge representation）是指把知识客体中的知识因子与知识关联起来，便于人们识别和理解知识。知识表示是知识组织的前提和基础，任何知识组织方法都是要创建在知识表示的基础上。知识表示有主观知识表示和客观知识表示两种。
• Recommender Systems 推荐系统
• Robotics and Perception 机器人与感知

还有许多其余的方向，在这里不详细介绍，接下来介绍机器学习。

机器学习

机器学习(Machine Learning, ML)是一门多领域交叉学科，涉及几率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，从新组织已有的知识结构使之不断改善自身的性能。它是人工智能的核心，是使计算机具备智能的根本途径，其应用遍布人工智能的各个领域，它主要使用概括、综合而不是演绎。机器学习的研究人员也是试图从多个样本与标签配对来进行机器学习模型的求解（训练）。

能够看到，机器学习是利用样本x，输入函数中，获得结果y，利用已有样本x y训练F(x) ,可以达到，输入一个不包含在样本集的x'能够获得正确的y'，保证正确率可以保持在一个较高的水平，这就是我根据老师上的的理解，只是比较浅的理解，在之后的学习中继续加深我对机器学习的理解。

机器学习与密码分析

密码分析与机器学习之间有自然的类似性，在密码分析中，攻击者试图经过推算出密钥来破解密码系统。解密函数是从一个由密钥索引的已知函数空间（解空间）求解出。攻击者的目的是发现解密函数的精确解。若是攻击者可以获取多个获取密文与明文配对来进行密码分析，其与机器学习的概念类似：机器学习的研究人员也是试图从多个样本与标签配对来进行机器学习模型的求解（训练）。因此能够将两者进行结合，研究利用机器学习如何进行密码分析。

机器学习的发展方向

从研究趋势发展来看，愈来愈多的密码分析方法开始使用机器学习技术，例如用于破解DES的遗传算法、用于侧信道分析的支撑向量机算法等。虽然主要的密码系统的算法仍然难以破解，然而机器学习算法经过分析网络流已经取得了很大的进步。

深度学习

深度学习的概念源于人工神经网络的研究。含多隐层的多层感知器就是一种深度学习结构。深度学习经过组合低层特征造成更加抽象的高层表示属性类别或特征，以发现数据的分布式特征表示。

深度学习是机器学习中一种基于对数据进行表征学习的方法。观测值（例如一幅图像）可使用多种方式来表示，如每一个像素强度值的向量，或者更抽象地表示成一系列边、特定形状的区域等。而使用某些特定的表示方法更容易从实例中学习任务（例如，人脸识别或面部表情识别）。深度学习的好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

深度学习的现状

能够看到深度学习是属于机器学习中的一个分支，度学习技术掀起了人工智能研究与应用的新一轮浪潮，深度学习技术在多个方面取得了较大突破，其在人工智能系统中所占的比例日趋增大，已经应用于多项实际场景业务系统中。

• 人工神经网络
  • 人工神经网络的内部是一个黑盒子，就像咱们人类的大脑同样，咱们不知道它内部的分析过程，咱们不知道它是如何识别出人脸的，也不知道它是如何战胜围棋世界冠军的。咱们只是为它构造了一个躯壳而已。人工神经网络是受到人类大脑结构的启发而创造，下图是一我的工神经网络的构造图。
  • x是神经元的输入，w是对应的权重，影响着每一个输入x的刺激强度，网络的结构越复杂，也就是深度神经网络，训练深度神经网络的过程就称为深度学习。

• 深度神经网络（ DNN: Deep Neural Networks ）也有许多类型，例如：
  • 卷积神经网络（ CNN: Convolutional Neural
    Networks）
  • 循环神经网络（ RNN: Recurrent Neural Networks）
  • 生成对抗网络（ GAN: Generative Adversarial Networks）

深度学习与密码分析

深度学习与密码分析能够分为如下四类：

• 基于卷积神经网络的侧信道攻击

• 基于循环神经网络的明文破译

• 基于生成对抗网络的口令破解

  • 经过测试集训练对抗网络判别口令的正确与错误，能够实现破解口令的功能。

  • 对抗网络

    生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型经过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminative Model）的互相博弈学习产生至关好的输出。

• 基于深度神经网络的密码基元识别

随着加密算法的复杂性以及秘钥长度的增长，明文破译的难度也随之增长，发展不如其余方面那么好，基于深度神经网络的密码基元能够识别出加密所使用的的算法。

深度学习的最新进展

• 知识驱动的深度学习
• 深度森林
• 图深度学习

深度学习与密码设计

随着量子技术的快速发展对密码技术产生了极大的威胁和挑战，一旦量子计算机出现，对于离散对数、整数分解的公钥密码体制将被快速攻破，意味着网络信息系统再也不安全。“组件化可变密码算法设计与安全性评估”，“密文可编程数据安全存储与计算”，两大问题是解决如今密码技术收到威胁的方法。

对于新密码算法的设计需求将与日俱增，但目前人工设计密码算法耗时耗力，难以适应将来密码算法设计的需求，咱们提出————让机器自动设计密码算法

老师在课上以Google的案例：Google's neural networks invent their own encryption

谷歌Brain team团队开始时有三个分别叫作爱丽丝，鲍勃和夏娃的神经网络。每一个系统都通过培训，以完善本身在沟通中的做用。Alice的工做是向Bob发送一条秘密消息，Bob的工做是解码Alice发送的消息，而Eve的工做是试图窃听。

最初，神经网络在发送秘密消息方面至关差。但随着他们更多的练习，爱丽丝慢慢开发了本身的加密策略，鲍勃研究出如何解密它。
在场景播放15,000次以后，Bob可以将Alice的密文短信转换回纯文本，而Eve能够猜想造成该消息的16位中的8位。因为每一个位只有1或0，这与纯粹机会所指望的成功率相同。

能够看出，深度学习在密码设计方面有着很大的发展前景。

---

2.学习中遇到的问题及解决

• 问题1：深度神经网络是如何将数据输入到神经网络中，又是如何进行预测的？
• 问题1解决方案：神经网络顾名思义是模仿人类的大脑结构，是一个黑盒子，之前的人工智能都是“假智能”，人类能够清楚地知道它们的内部分析过程，而人工神经网络，没法知道它内部的分析过程，这也正是人工智能的可怕之处，所以世界上成立了很多安全协会来防范人工智能。

对于不一样的应用，须要识别的对象多是图片、视频、语音等，但在计算机中都对应有数字的表示形式。在人工智能领域中，每个输入到神经网络的数据都被称为是一个特征，即特征向量。神经网络通过训练，接收到这个输入，进行预测。预测是由公式进行计算，经过学习获得当计算结果大于某个值会被预测为某种结果，那么当咱们输入数据，根据权重进行计算，若是结果大于某个值，预测为某种结果。

• 问题2：什么是卷积神经网络？
• 问题2解决方案：在课上咱们知道卷积神经网络是深度神经网络中的一种，在神经网络与密码分析中，老师讲到基于卷积神经网络的侧信道攻击，因此我经过百度、CSDN博客等方式进行了必定的了解。

卷积神经网络（Convolutional Neural Networks, CNN）是一类包含卷积计算且具备深度结构的前馈神经网络（Feedforward Neural Networks），是深度学习（deep learning）的表明算法之一。因为卷积神经网络可以进行平移不变分类（shift-invariant classification），所以也被称为“平移不变人工神经网络（Shift-Invariant Artificial Neural Networks, SIANN）”。

卷积神经网络仿造生物的视知觉（visual perception）机制构建，能够进行监督学习和非监督学习，其隐含层内的卷积核参数共享和层间链接的稀疏性使得卷积神经网络可以以较小的计算量对格点化（grid-like topology）特征，例如像素和音频进行学习、有稳定的效果且对数据没有额外的特征工程（feature engineering）要求。

卷积神经网络的层级结构：

• 数据输入层/ Input layer：该层要作的处理主要是对原始图像数据进行预处理，
• 卷积计算层/ CONV layer：这一层就是卷积神经网络最重要的一个层次，也是“卷积神经网络”的名字来源。
  在这个卷积层，有两个关键操做：
  • 局部关联。每一个神经元看作一个滤波器(filter)
  • 窗口(receptive field)滑动， filter对局部数据计算
• ReLU激励层 / ReLU layer：把卷积层输出结果作非线性映射。
• 池化层 / Pooling layer：池化层夹在连续的卷积层中间， 用于压缩数据和参数的量，减少过拟合。
• 全链接层 / FC layer：两层之间全部神经元都有权重链接，一般全链接层在卷积神经网络尾部。

3.本次讲座的学习感悟、思考等）

做为这几年中很是热门的研究方向，老师在课上用通俗易通的方式带咱们初步了解了深度学习和机器学习，打开咱们的思路。刚刚开始的时候并不明白什么是机器学习，利用机器学习到底可以作什么事情。咱们做为密码专业的学生，机器学习与咱们有没有什么能够联系到一块儿的点。

后来明白，人工智能是一个很是宽泛的概念，每个研究方式的背后又是一个宽泛的世界。根据老师在课上的介绍，咱们能够知道，机器学习在密码方面的研究还能够进一步深刻，还有不少方面没有能将两者结合在一块儿。也是咱们在之后的学习中须要探索的。

4.最新研究现状

Fast, Lean, and Accurate: Modeling Password Guessability Using Neural Networks

• 会议名称：25th USENIX Symposium on Networked Systems Design and Implementation
• 做者：William Melicher, Blase Ur, Sean M. Segreti, Saranga Komanduri, Lujo Bauer
• 论文题目：快速，精益和准确：使用神经网络建模密码可猜想性

文章提出现今采用的密码方式存在不安全的因素，经过神经网络检查密码的安全性，能够帮助更好地检测口令的安全性。这篇文章主要检测用户口令的安全性，并非咱们的密码学中的密码，这是须要强调的一点。

人类选择的文本密码是当今主要的身份验证形式，容易受到猜想攻击。遗憾的是，经过对对等密码猜想建模来评估密码强度的现有方法要么不许确，要么数量级太大并且对于实时的客户端密码检查来讲太慢。文章建议使用人工神经网络来模拟文本密码对猜想攻击的抵抗力，并探索不一样的体系结构和训练方法如何影响神经网络的猜想效果。实践代表，神经网络一般能够比最早进的方法更有效地猜想密码，例如几率上下文无关语法和马尔可夫模型。咱们还代表，咱们的神经网络能够高度压缩到几百千字节，而不会显着恶化猜想效果。基于这些结果，咱们在JavaScript中实现了密码猜想的第一个原则客户端模型，该模型分析密码对任意持续时间的猜想攻击的抵抗力，具备亚秒级延迟。总之，本文的贡献使得密码检查可以比之前更加准确和实用。

Membership Inference Attacks Against Machine Learning Models

• 会议名称：38th IEEE Symposium on Security and Privacy
• 做者：Reza Shokri，Marco Stronati，Congzheng Song，and Vitaly Shmatikov
• 论文题目：经过预测API窃取机器学习模型

文章提出了机器学习存在的隐私泄露的问题，机器学习在解决问题以前须要接受数据集的训练，而这些数据集每每包含着用户的我的隐私。可是，机器学习模型不断地被部署，经过公共访问接口访问模型, 例如机器学习即服务（ Machine Learning as a service, MLaaS）：用户能够在MLaaS 平台利用隐私敏感数据训练机器学习模型，而且将访问接口发布给其余用户使用，同时收取必定的费用。

针对机器学习模型机密性和其公共访问的矛盾上，笔者提出了机器学习模型提取攻击：攻击者在没有任何关于该模型的先验知识（训练数据，模型参数，模型类型等）状况下，只利用公共访问接口对该模型的黑盒访问，从而构造出和目标模型类似度很是高的模型。

文章定量研究机器学习模型如何泄漏有关他们接受培训的我的数据记录的信息。关注基本的成员资格推理攻击：给定数据记录和对模型的黑匣子访问，肯定记录是否在模型的训练数据集中。为了对目标模型进行成员资格推理，咱们进行机器学习的对抗性使用并训练咱们本身的推理模型，以识别目标模型对其训练的输入与其未训练的输入的预测的差别。咱们根据Google和亚马逊等商业“机器学习即服务”提供商培训的分类模型，对咱们的推理技术进行了实证评估。使用真实的数据集和分类任务，包括其成员资格从隐私角度敏感的出院数据集，咱们代表这些模型易受成员资格推断攻击。而后，咱们调查影响这种泄漏的因素并评估缓解策略。

SecureML: A System for Scalable Privacy-Preserving Machine Learning

• 会议名称：38th IEEE Symposium on Security and Privacy
• 做者：Payman Mohassel and Yupeng Zhang
• 论文题目：SecureML可扩展隐私保护机器学习系统

机器学习在实践中被普遍用于为诸如图像处理，语音和文本识别的应用产生预测模型。在对从不一样来源收集的大量数据进行培训时，这些模型更加准确。可是，海量数据收集引起了隐私问题。在本文中，咱们提出了新的和有效的隐私保护机器学习协议，用于线性回归，逻辑回归和使用随机梯度降低法的神经网络训练。咱们的协议属于双服务器模型，其中数据全部者在两个非串通服务器之间分发其私有数据，这两个服务器使用安全的双方计算（2PC）在联合数据上训练各类模型。咱们开发了新的技术来支持对共享十进制数的安全算术运算，并提出了对非线性函数（如sigmoid和softmax）的MPC友好替代方案，这些方法优于之前的工做。咱们用C ++实现咱们的系统。咱们的实验证明，咱们的协议比隐私保护线性和逻辑回归的现有技术实现快几个数量级，而且能够扩展到具备数千个特征的数百万个数据样本。咱们还实施了第一个用于训练神经网络的隐私保护系统。

Structure2vec: Deep Learning for Security Analytics over Graphs

• 会议名称：2018 USENIX Security and AI Networking Conference
• 做者：Le Song
• 论文题目：Structure2vec基于图形的安全分析的深度学习

网络和图表在许多现实世界的应用中是广泛的，例如在线社交网络，支付平台中的交易，推荐系统中的用户项交互以及知识库中的关系信息。大量图形数据的可用性带来了巨大的新挑战。如何表示此类数据以捕获相关实体之间的类似性或差别？如何根据大量此类数据学习预测模型并执行推理？之前的深度学习模型，如CNN和RNN，是为图像和序列设计的，但它们不适用于图形数据。
在本文中，介绍一个名为Structure2Vec的嵌入框架，用于以端到端的方式学习图形数据的表示。Structure2Vec提供了一个统一的框架，用于整合来自节点特征，边缘特征，异构网络结构和网络动态的信息，并将它们与下游监督和无监督学习以及强化学习联系起来。还将讨论安全分析中的几个应用程序，其中Structure2Vec比之前的最新技术有了显着的改进。

Automating the Discovery and Investigation of Targeted Attacks with AI and Machine Learning

• 会议名称：2018 USENIX Security and AI Networking Conference
• 做者：Alejandro Borgia
• 论文题目：利用AI和机器学习自动发现和调查目标攻击

目标攻击是当今企业安全面临的最危险威胁之一。然而，在安全系统产生的大量警报下，它们经常被隐藏起来，使攻击者有时间访问系统并获取有价值的数据。赛门铁克的新型目标攻击分析（TAA）技术利用先进的机器学习功能，自动发现目标攻击，识别真正有针对性的活动，并以高度可靠的事件报告的形式对其进行优先排序。TAA是赛门铁克攻击调查团队与赛门铁克顶级安全数据科学家团队在机器学习研究领域的内部联合努力的结果，分析了来自最大的威胁数据之一的普遍数据。同时提供全球自动化目标威胁检测。

参考资料

• 人工智能教程 - 1.1.1 什么是神经网络
• 卷积神经网络总结
• Google's neural networks invent their own encryption