JAVA 架构和技术框架百科

YApi 是高效、易用、功能强大的 api 管理平台，旨在为开发、产品、测试人员提供更优雅的接口管理服务。能够帮助开发者轻松建立、发布、维护 API，YApi 还为用户提供了优秀的交互体验，开发人员只需利用平台提供的接口数据写入工具以及简单的点击操做就能够实现接口的管理。参考网站 https://gitee.com/mirrors/YApi

• 基于 Json5 和 Mockjs 定义接口返回数据的结构和文档，效率提高多倍
• 扁平化权限设计，即保证了大型企业级项目的管理，又保证了易用性
• 相似 postman 的接口调试
• 自动化测试, 支持对 Response 断言
• MockServer 除支持普通的随机 mock 外，还增长了 Mock 指望功能，根据设置的请求过滤规则，返回指望数据
• 支持 postman, har, swagger 数据导入
• 免费开源，内网部署，信息不再怕泄露了

**************************************************************************************************************************************************************

npm 是 JavaScript 世界的包管理工具,而且是 Node.js 平台的默认包管理工具。经过 npm 能够安装、共享、分发代码,管理项目依赖关系。

NPM是随同NodeJS一块儿安装的包管理工具，能解决NodeJS代码部署上的不少问题，常见的使用场景有如下几种：

容许用户从NPM服务器下载别人编写的第三方包到本地使用。

容许用户从NPM服务器下载并安装别人编写的命令行程序到本地使用。

容许用户将本身编写的包或命令行程序上传到NPM服务器供别人使用。

**************************************************************************************************************************************************

Apache Kafka® is a distributed streaming platform. What exactly does that mean?
A streaming platform has three key capabilities:

Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system.
Store streams of records in a fault-tolerant durable way.
Process streams of records as they occur.
Kafka is generally used for two broad classes of applications:

Building real-time streaming data pipelines that reliably get data between systems or applications
Building real-time streaming applications that transform or react to the streams of data
To understand how Kafka does these things, let's dive in and explore Kafka's capabilities from the bottom up.

First a few concepts:

Kafka is run as a cluster on one or more servers that can span multiple datacenters.
The Kafka cluster stores streams of records in categories called topics.
Each record consists of a key, a value, and a timestamp.

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它能够处理消费者在网站中的全部动做流数据。 这种动做（网页浏览，搜索和其余用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据一般是因为吞吐量的要求而经过处理日志和日志聚合来解决。 对于像Hadoop同样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是经过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了经过集群来提供实时的消息。

 

**************************************************************************************************************************************************

Netty is a NIO client server framework which enables quick and easy development of network applications such as protocol servers and clients. It greatly simplifies and streamlines network programming such as TCP and UDP socket server.

'Quick and easy' doesn't mean that a resulting application will suffer from a maintainability or a performance issue. Netty has been designed carefully with the experiences earned from the implementation of a lot of protocols such as FTP, SMTP, HTTP, and various binary and text-based legacy protocols. As a result, Netty has succeeded to find a way to achieve ease of development, performance, stability, and flexibility without a compromise.

****************************************************************************************************************************************************

Spring是一个开放源代码的设计层面框架，它解决的是业务逻辑层和其余各层的松耦合问题，所以它将面向接口的编程思想贯穿整个系统应用。Spring是于2003 年兴起的一个轻量级的Java 开发框架，由Rod Johnson建立。简单来讲，Spring是一个分层的JavaSE/EE full-stack(一栈式) 轻量级开源框架。

******************************************************************************************************************************************************

Spring MVC属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面。Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。使用 Spring 可插入的 MVC 架构，从而在使用Spring进行WEB开发时，能够选择使用Spring的Spring MVC框架或集成其余MVC开发框架，

******************************************************************************************************************************************************

Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员再也不须要定义样板化的配置。经过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid application development)成为领导者。

******************************************************************************************************************************************************

Spring Cloud是一系列框架的有序集合。它利用Spring Boot的开发便利性巧妙地简化了分布式系统基础设施的开发，如服务发现注册、配置中心、消息总线、负载均衡、断路器、数据监控等，均可以用Spring Boot的开发风格作到一键启动和部署。Spring Cloud并无重复制造轮子，它只是将目前各家公司开发的比较成熟、经得起实际考验的服务框架组合起来，经过Spring Boot风格进行再封装屏蔽掉了复杂的配置和实现原理，最终给开发者留出了一套简单易懂、易部署和易维护的分布式系统开发工具包。

******************************************************************************************************************************************************

MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎全部的 JDBC 代码和手动设置参数以及获取结果集。MyBatis 可使用简单的 XML 或注解来配置和映射原生类型、接口和 Java 的 POJO（Plain Old Java Objects，普通老式 Java 对象）为数据库中的记录。

******************************************************************************************************************************************************

ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎，基于RESTful web接口。Elasticsearch是用Java开发的，并做为Apache许可条款下的开放源码发布，是当前流行的企业级搜索引擎。设计用于云计算中，可以达到实时搜索，稳定，可靠，快速，安装使用方便。
咱们创建一个网站或应用程序，并要添加搜索功能，可是想要完成搜索工做的建立是很是困难的。咱们但愿搜索解决方案要运行速度快，咱们但愿能有一个零配置和一个彻底免费的搜索模式，咱们但愿可以简单地使用JSON经过HTTP来索引数据，咱们但愿咱们的搜索服务器始终可用，咱们但愿可以从一台开始并扩展到数百台，咱们要实时搜索，咱们要简单的多租户，咱们但愿创建一个云的解决方案。所以咱们利用Elasticsearch来解决全部这些问题及可能出现的更多其它问题。

******************************************************************************************************************************************************

Redis是一个开源的使用ANSI C语言编写、支持网络、可基于内存亦可持久化的日志型、Key-Value数据库，并提供多种语言的API。从2010年3月15日起，Redis的开发工做由VMware主持。从2013年5月开始，Redis的开发由Pivotal赞助。

******************************************************************************************************************************************************

RabbitMQ是实现了高级消息队列协议（AMQP）的开源消息代理软件（亦称面向消息的中间件）。RabbitMQ服务器是用Erlang语言编写的，而集群和故障转移是构建在开放电信平台框架上的。全部主要的编程语言均有与代理接口通信的客户端库。

******************************************************************************************************************************************************

Dubbo是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可经过高性能的 RPC 实现服务的输出和输入功能，能够和  Spring框架无缝集成。
Dubbo是一款高性能、轻量级的开源Java RPC框架，它提供了三大核心能力：面向接口的远程方法调用，智能容错和负载均衡，以及服务自动注册和发现。

Apache Dubbo is a high-performance, Java based open source RPC framework

******************************************************************************************************************************************************

ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination.

**************************************************************************************************************************************************************************************************

Netty是由JBOSS提供的一个java开源框架。Netty提供异步的、事件驱动的网络应用程序框架和工具，用以快速开发高性能、高可靠性的网络服务器和客户端程序。
也就是说，Netty 是一个基于NIO的客户、服务器端编程框架，使用Netty 能够确保你快速和简单的开发出一个网络应用，例如实现了某种协议的客户、服务端应用。Netty至关于简化和流线化了网络应用的编程开发过程，例如：基于TCP和UDP的socket服务开发。
“快速”和“简单”并不用产生维护性或性能上的问题。Netty 是一个吸取了多种协议（包括FTP、SMTP、HTTP等各类二进制文本协议）的实现经验，并通过至关精心设计的项目。最终，Netty 成功的找到了一种方式，在保证易于开发的同时还保证了其应用的性能，稳定性和伸缩性。

******************************************************************************************************************************************************

kubernetes，简称K8s，是用8代替8个字符“ubernete”而成的缩写。是一个开源的，用于管理云平台中多个主机上的容器化的应用，Kubernetes的目标是让部署容器化的应用简单而且高效（powerful）,Kubernetes提供了应用部署，规划，更新，维护的一种机制。 [1]

******************************************************************************************************************************************************

Docker 是一个开源的应用容器引擎，基于 Go 语言 并听从Apache2.0协议开源。Docker 可让开发者打包他们的应用以及依赖包到一个轻量级、可移植的容器中，而后发布到任何流行的 Linux 机器上，也能够实现虚拟化。容器是彻底使用沙箱机制，相互之间不会有任何接口（相似 iPhone 的 app）,更重要的是容器性能开销极低。

******************************************************************************************************************************************************

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户能够在不了解分布式底层细节的状况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。
Hadoop实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。HDFS有高容错性的特色，而且设计用来部署在低廉的（low-cost）硬件上；并且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，能够以流的形式访问（streaming access）文件系统中的数据。Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MapReduce则为海量的数据提供了计算。

******************************************************************************************************************************************************************************
Thymeleaf 是一个跟 Velocity、FreeMarker 相似的模板引擎，它能够彻底替代 JSP 。相较与其余的模板引擎

*****************************************************************************************************************************************************************************************

FreeMarker是一款模板引擎： 即一种基于模板和要改变的数据，并用来生成输出文本（HTML网页、电子邮件、配置文件、源代码等）的通用工具。它不是面向最终用户的，而是一个Java类库，是一款程序员能够嵌入他们所开发产品的组件。

***********************************************************************************************************************************************************************************

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它能够处理消费者在网站中的全部动做流数据。 这种动做（网页浏览，搜索和其余用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据一般是因为吞吐量的要求而经过处理日志和日志聚合来解决。 对于像Hadoop同样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是经过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了经过集群来提供实时的消息。

*******************************************************************************************************************************************************************************************

Solr是一个独立的企业级搜索应用服务器，它对外提供相似于Web-service的API接口。用户能够经过http请求，向搜索引擎服务器提交必定格式的XML文件，生成索引；也能够经过Http Get操做提出查找请求，并获得XML格式的返回结果。

********************************************************************************************************************************************************************************************

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具备的优势；但不一样于MapReduce的是——Job中间输出结果能够保存在内存中，从而再也不须要读写HDFS，所以Spark能更好地适用于数据挖掘与机器学习等须要迭代的MapReduce的算法。
Spark 是一种与 Hadoop 类似的开源集群计算环境，可是二者之间还存在一些不一样之处，这些有用的不一样之处使 Spark 在某些工做负载方面表现得更加优越，换句话说，Spark 启用了内存分布数据集，除了可以提供交互式查询外，它还能够优化迭代工做负载。
Spark 是在 Scala 语言中实现的，它将 Scala 用做其应用程序框架。与 Hadoop 不一样，Spark 和 Scala 可以紧密集成，其中的 Scala 能够像操做本地集合对象同样轻松地操做分布式数据集。
尽管建立 Spark 是为了支持分布式数据集上的迭代做业，可是实际上它是对 Hadoop 的补充，能够在 Hadoop 文件系统中并行运行。经过名为 Mesos 的第三方集群框架能够支持此行为。Spark 由加州大学伯克利分校 AMP 实验室 (Algorithms, Machines, and People Lab) 开发，可用来构建大型的、低延迟的数据分析应用程序。

********************************************************************************************************************************************************************************************

Apache Storm是一个分布式实时大数据处理系统。Storm设计用于在容错和水平可扩展方法中处理大量数据。它是一个流数据框架，具备最高的摄取率。

Apache Storm教程
Storm最初由Nathan Marz和BackType的团队建立。BackType是一家社交分析公司。后来，Storm被收购，并经过Twitter开源。在短期内，Apache Storm成为分布式实时处理系统的标准，容许您处理大量的数据，相似于Hadoop。Apache Storm是用Java和Clojure写的。它仍然是实时分析的领导者。本教程将探讨Apache Storm的原理，分布式消息传递，安装，建立Storm拓扑并将其部署到Storm集群，Trident的工做流程，实时应用程序，最后总结一些有用的例子。

适用人群
本教程是为有志于使用Apache Storm框架在大数据分析中职业生涯的专业人士准备的。本教程将为您在分布式环境中建立和部署Storm集群提供足够的了解。

学习前提
在继续本教程以前，您必须很好地了解Core Java和任何Linux风格。

*********************************************************************************************************************************************************************************************

Apache Flink是由Apache软件基金会开发的开源流处理框架，其核心是用Java和Scala编写的分布式流数据流引擎。Flink以数据并行和流水线方式执行任意流数据程序，Flink的流水线运行时系统能够执行批处理和流处理程序。此外，Flink的运行时自己也支持迭代算法的执行。

***********************************************************************************************************************************************************************************************

Apache Shiro是一个强大且易用的Java安全框架,执行身份验证、受权、密码和会话管理。使用Shiro的易于理解的API,您能够快速、轻松地得到任何应用程序,从最小的移动应用程序到最大的网络和企业应用程序。

**************************************************************************************************************************************************************************************************

Apache ActiveMQ是Apache软件基金会所研发的开放源代码消息中间件；因为ActiveMQ是一个纯Java程序，所以只须要操做系统支持Java虚拟机，ActiveMQ即可执行。

**************************************************************************************************************************************************************************************************

RocketMQ是阿里巴巴在2012年开源的分布式消息中间件，目前已经捐赠给Apache基金会，并于2016年11月成为 Apache 孵化项目。　　

中间件是一类链接软件组件和应用的计算机软件，它包括一组服务。以便于运行在一台或多台机器上的多个软件经过网络进行交互。
中间件技术所提供的互操做性，推进了分布式体系架构的演进，该架构一般用于支持并简化那些复杂的分布式应用程序，它包括web服务器、事务监控器和消息队列软件。
中间件(middleware)是基础软件的一大类，属于可复用软件的范畴。顾名思义，中间件处于操做系统软件与用户的应用软件的中间。
中间件在操做系统、网络和数据库之上，应用软件的下层，总的做用是为处于本身上层的应用软件提供运行与开发的环境，帮助用户灵活、高效地开发和集成复杂的应用软件。

**************************************************************************************************************************************************************************************************