Sumap 网络空间测绘mysql
互联网在高速发展的今天，传统的网络安全大多面向局部安全不曾考虑总体全网环境下的网络安全，这样也形成了近年来攻击者频繁面向全网展开攻击。数亿的物联网设备安全问题被大范围的暴露出来。同时攻击者在面向全网攻击既包括传统攻击方式WEB攻击，缓冲区溢出攻击，数据库攻击。同时也涵盖新型的针对物联网设备和工控设备层面的攻击也愈加频繁。算法
备注：全网（总体互联网空间，包括ipv4,ipv6,域名信息等）sql
SUMAP全球网络空间超级雷达数据库
SUMAP项目全称"全球网络空间超级雷达"，项目出发点针对全球网络空间测绘方向。总体SUMAP项目下主要包括，sumap大数据搜索平台，sumap探测引擎，sumap漏洞扫描引擎以及基于机器学习模型的智能资产标签化管理等。安全
SUMAP大数据搜索平台：主要功能包括关键词搜索，资产搜索，ipv4 ipv6搜索，域名搜索，ico搜索，漏洞搜索，漏洞编号搜索，国家地区搜索，风险监测报告等。能够实现用户经过不一样维度展示出全网环境下的测绘效果。在搜索平台背后集成了大数据解决方案可弹性扩充并存储数据。作到探测引擎可实时同步大数据平台，大数据平台可实时提供数据给搜索平台展示，作到数据联动。服务器
（图为sumap大数据搜索平台展现）网络
（图为sumap大数据搜索平台地图测绘展现）架构
SUMAP探测引擎：主要功能探测全球网络空间，引擎程序彻底自主研发并在探测性能上已经突破单台服务器每秒60万并发的探测扫描能力。2小时内便可完成单个端口在ipv4网络环境下的探测扫描。在探测速度上远超国内外同类项目或产品。同时探测功能上目前已支持ipv4,ipv6,域名等，探测内容上支持端口信息，指纹信息，版本信息等。在探测指纹上构造特殊探测报文可有效避免触发防火墙等设备。并发
SUMAP漏洞引擎：经过结合主被动方式以覆盖全网扫描探测，重点以地区维度的中高危漏洞探测，相比传统漏扫的不一样在于能够针对漏洞快速覆盖全网检测。同时作到对已知漏洞持续监测，未知漏洞经过重点风险资产重点关注目的测绘全网。ssh
智能资产标签：主要负责对资产进行标签化计算，分析，识别。利用智能标签对探测指纹，识别指纹以及ip属性端口属性域名属性作综合智能标签。用于解决以往传统扫描器探测指纹单一，识别指纹单一的问题。同时对于传统网络扫描器每每根据默认端口号来识别资产如开放80端口默认识别为http资产，开放3306端口默认识别为mysql数据库资产。不经校验的对资产进行属性标签。而智能资产标签对探测指纹，返回包指纹要求必须进过验证，如80端口发送http探测指纹，根据返回包验证是否返回了正确的http数据在对资产作智能标签。以及在网络测绘应用场景中对全网中的资产中经过模型迭代对探测指纹，识别指纹反复更新确保可以准确的对资产进行智能资本标签。
深度学习智能标签
深度学习智能标签主要包括：探测指纹标签，识别指纹标签，资产标签，资产属性标签等。在复杂的全网环境下传统单一的探测指纹，识别指纹均没法作到有效的全网资产识别。其主要缘由包括：
1. 应用服务开放到其余特殊端口非标准默认端口；
2. 用户自建或封装的业务端口；
3. 端口业务基于TLS不一样版本的加密协议传输；
4. 探测指纹单一没法根据端口业务构造探测报文；
5. 识别指纹单一没法根据不一样的返回包进行识别鉴定。
智能探测指纹与识别指纹迭代技术：
传统探测指纹如http协议探测指纹,ftp探测指纹,ssh探测指纹等协议指纹一般经过抓包工具分析发情请求报文以后造成单一探测指纹，不会在具体深刻到协议中的每一个字段含义分析。这样就形成了探测指纹可能没法覆盖这一类协议中的全部资产。基础标签，sumap探测引擎首先基于传统指纹探测时候对返回包进行基础的识别指纹识别，对资产进行基础标签在有了基础标签资产以后，对同类型资产进行字段级别探测指纹测试。造成更为有效的探测指纹用来对同一种协议不一样服务或者不用应用进行探测。造成更为有效的探测指纹后在从新对全网环境下探测识别，根据返回包字段内容信息从新梳理出识别指纹。基于上述模型在经过利用大数据架构，AI深度学习使之更快速的分解出智能探测指纹，与智能识别指纹。聚类分类算法用于对探测指纹识别指纹进行更有效的运算，具体实现方式为先对30%的样本数据进行了层次聚类(cluster.hierarchy)，得出聚簇中心以后，根据出现关键字频率进行类别自动化定义，对于没法判别类别的聚簇，人工进行识别再对剩下的70%数据进行k均值聚类(K-means)运算，其中k为聚簇中心聚类个数，及聚簇中心的分类。从而断定出的智能探测指纹，智能识别指纹。
资产模型标签技术：
经过构建智能标签模块可对全网环境下的资产进行标签化处理包括：基础网络服务http,ftp,ssh,telnet等，以及终端设备，路由器，防火墙，安全代理、Web服务器集群，数据中心，云服务等资产的识别，识别设备类型包括厂商、品牌、型号、软件及版本、域名资产等已知的设备进行标签，也可对未知指纹进行迭代模型学习分析以后在进行标签。
在智能识别指纹下，对同类资产非同类资产，同类资产不一样结构，同结构不一样的资产，都会进行资产识别以后对资产进行属性标签。达到贴合用户业务的属性标签。其中关键技术点包括可对资产属性进行人工干预，如经过智能探测指纹探测出去以后返回包内容没法进行智能识别指纹识别没法对资产归类时，人工干预以后对没法识别资产能够从新归类。
高效迭代的ipv6创新探测
不一样于传统ipv4探测，在ipv6普遍的地址范围下经过针对ipv6的特色目前已迭代了四代探测算法模型。现已累计全球ipv6数据超42亿+条，并保持日均千万级别数据更新量持续迭代更新。
（图｜ipv6探测演示）
第一代模型经过ipv6公开地址段信息使用活跃度算法针对大网段化整为零计算网段活跃程度后在细化扫描，以此模型调度探测引擎重点探测活跃度相对较高网段地址。
（图｜ ipv6地址段）
第二代模型经过使用针对互联网全量域名信息采集，经过解析域名AAAA记录获得域名ipv6地址信息，在经过对ipv6地址信息扩散后持续探测。并结合第一代模型计算活跃度扩大探测地址段。