SSM框架实现高并发秒杀API学习笔记

时间  2019-12-01
标签 ssm 框架 实现 并发 秒杀 api 学习 笔记 繁體版
原文   原文链接

慕课网yijun zhang老师的《Java高并发秒杀API》系列课程学习总结php

maven命令建立web骨架项目

mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webappcss

groupId和artifactId用来标注项目坐标，项目名为org.seckill；archetypeArtifactId指明使用maven的webapp原型来建立项目。html

建立成功后选定pom文件导入IDEA。前端

建立须要的文件夹，并选定其类型，如源文件夹java，资源文件夹resources。java

其中web.xml文件的使用的是Servlet2.3版本，默认jsp的el表达式不工做，须要切换为更高的版本。进入~\apache-tomcat-9.0.14\webapps\examples\WEB-INF，打开其中的web.xml文件，将其标签内容复制过来，替换项目文件中的标签。mysql

pom文件中junit默认是3.8版本，3.0版本默认使用编程方式，4.0使用注解方式来运行，需替换为4.0版本。git

导入相关依赖

1.日志：使用slf4j + logbackgithub

slf4j-api、logback-core、logback-classicweb

2.数据库相关依赖，使用mybatis、mysql，链接池使用druidredis

mysql-connector-java、druid、mybatis、mybatis-spring

3.Servlet web相关依赖

standard、jackson-databind、javax.servlet-api

4.spring依赖

核心依赖：spring-core、spring-beans、spring-context

dao层相关依赖：spring-jdbc、spring-tx、jstl

web相关依赖：spring-web、spring-webmvc

test相关依赖：spring-test

数据库建立：建立数据库，建立秒杀库存表，并初始化一些信息，建立秒杀成功明细表（schema.sql）

Dao层相关

建立entity层，放置实体类。对应数据库表。

建立dao层，dao层相关接口，定义增删改查方法

mybatis配置

建立mybatis配置文件mybatis-config，进入mybatis官网查看示例，配置全局属性，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE configuration PUBLIC "-//mybatis.org//DTD Config 3.0//EN" "http://mybatis.org/dtd/mybatis-3-config.dtd">
<configuration>
    <!--配置全局属性-->
    <settings>
        <!--使用jdbc的getGeneratedKeys 获取数据库自增主键值-->
        <setting name="useGeneratedKeys" value="true"/>
        <!--使用列别名替换列名 默认：true-->
        <setting name="useColumnLabel" value="true"/>
        <!--开启驼峰命名转换：Table(create_time) -> Entity(createTime)-->
        <setting name="mapUnderscoreToCamelCase" value="true"/>
    </settings>
</configuration>
复制代码

在resources文件夹下建立mapper层，其下建立映射dao层的sql配置文件,官网，例：

<?xml version="1.0" encoding="UTF-8" ?>
<!DOCTYPE mapper PUBLIC "-//mybatis.org//DTD Mapper 3.0//EN" "http://mybatis.org/dtd/mybatis-3-mapper.dtd">
<mapper namespace="org.seckill.dao.SeckillDao">
    <!--目的：为dao接口方法提供sql语句配置-->

    <!--xml中不容许出现<=，使用<![CDATA[ ]]>标签，<![CDATA[<=]]>-->
    <update id="reduceNumber">
        update seckill
        set number = number -1
        where seckill_id = #{seckillId}
        and start_time <![CDATA[<=]]> #{killTime}
        and end_time >= #{killTime}
        and number >0;
    </update>

    <select id="queryById" resultType="Seckill" parameterType="long">
          select seckill_id,name,number,start_time,end_time,create_time
          from seckill
          where seckill_id = #{seckillId}
    </select>
</mapper>
复制代码

建立jdbc配置文件jdbc.properties，例：

driver=com.mysql.cj.jdbc.Driver
url=jdbc:mysql://localhost:3306/seckill?useUnicode=true&characterEncoding=utf8&serverTimezone=UTC
user=root
password=123456
复制代码
mybatis整合spring

mybatis整合spring，在resources文件夹下建立spring层，放置与spring相关配置。建立spring-dao.xml配置文件，在其中配置整合mybatis过程。例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!-- 配置整合mybatis过程 -->
    <!-- 一、配置数据库相关参数 properties的属性：${url}-->
    <context:property-placeholder location="classpath:jdbc.properties"/>

    <!--2:数据库链接池-->
    <bean id="dataSource" class="com.alibaba.druid.pool.DruidDataSource">
        <!--配置链接池属性-->
        <property name="driverClassName" value="${driver}"/>
        <property name="url" value="${url}"/>
        <property name="username" value="${user}"/>
        <property name="password" value="${password}"/>

        <property name="initialSize" value="10"/>
        <property name="maxActive" value="30"/>
        <property name="minIdle" value="10"/>
        <!--关闭链接后不自动commit，默认false-->
        <property name="defaultAutoCommit" value="false"/>

        <property name="maxWait" value="1000"/>

        <property name="timeBetweenConnectErrorMillis" value="60000"/>
        <property name="minEvictableIdleTimeMillis" value="300000" />
    </bean>

    <!--约定大于配置-->
    <!--3:配置SqlSessionFactory对象-->
    <bean id="sqlSessionFactory" class="org.mybatis.spring.SqlSessionFactoryBean">
        <!--注入数据库链接池-->
        <property name="dataSource" ref="dataSource"/>
        <!--配置Mybatis全局配置文件-->
        <property name="configLocation" value="classpath:mybatis-config.xml"/>
        <!--扫描entity包 使用别名 org.seckill.entity.Seckill->Seckill-->
        <property name="typeAliasesPackage" value="org.seckill.entity"/>
        <!--扫描sql配置文件:mapper须要的xml文件-->
        <property name="mapperLocations" value="classpath:mapper/*.xml"/>
    </bean>

    <!--4:配置扫描Dao接口包,动态实现Dao接口,注入到Spring容器中-->
    <bean class="org.mybatis.spring.mapper.MapperScannerConfigurer">
        <!--注入sqlSessionFactory-->
        <property name="sqlSessionFactoryBeanName" value="sqlSessionFactory"/>
        <!--给出扫描Dao接口包-->
        <property name="basePackage" value="org.seckill.dao"/>
    </bean>

</beans>
复制代码

单元测试

错误1 、错误2

Service层相关

建立dto层，数据传输层，例如封装执行秒杀后的结果、封装json数据、暴露秒杀地址

建立exception层，自定义继承自RuntimeException的异常，例：

package org.seckill.exception;

// 秒杀相关业务异常
public class SeckillException extends RuntimeException{
    public SeckillException(String message) {
        super(message);
    }

    public SeckillException(String message, Throwable cause) {
        super(message, cause);
    }
}
复制代码

可继续建立继承此异常类的详细异常，如重复异常、秒杀关闭异常，同上。

建立enums层，枚举返回信息

建立service，实现业务逻辑，接口与实现

使用spring托管Service

使用spring托管Service依赖配置，建立spring-service.xml配置文件，在其中配置，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:context="http://www.springframework.org/schema/context" xmlns:tx="http://www.springframework.org/schema/tx" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd http://www.springframework.org/schema/tx http://www.springframework.org/schema/tx/spring-tx.xsd">

    <!--扫描service包下全部使用注解的类型-->
    <context:component-scan base-package="org.seckill.service"/>

    <!-- 配置事务管理器 -->
    <bean id="transactionManager" class="org.springframework.jdbc.datasource.DataSourceTransactionManager">
        <!-- 注入数据库链接池 -->
        <property name="dataSource" ref="dataSource"/>
    </bean>

    <!--配置基于注解的声明式事务 默认使用注解来管理事务行为 -->
    <tx:annotation-driven transaction-manager="transactionManager"/>
</beans>
复制代码
使用日志

使用到了日志，官网参考建立logback.xml配置文件进行配置，最简单例：

<?xml version="1.0" encoding="UTF-8" ?>
<configuration debug="true">

    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <!-- encoders are by default assigned the type ch.qos.logback.classic.encoder.PatternLayoutEncoder -->
        <encoder>
            <pattern>%d{HH:mm:ss.SSS} [%thread] %-5level %logger{36} - %msg%n</pattern>
        </encoder>
    </appender>

    <root level="debug">
        <appender-ref ref="STDOUT" />
    </root>
</configuration>
复制代码

单元测试

Controller层相关

整合配置SpringMVC框架

建立spring-web.xml配置文件，在其中配置Spring MVC，例：

<?xml version="1.0" encoding="UTF-8"?>
<beans xmlns="http://www.springframework.org/schema/beans" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:mvc="http://www.springframework.org/schema/mvc" xmlns:context="http://www.springframework.org/schema/context" xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd http://www.springframework.org/schema/mvc http://www.springframework.org/schema/mvc/spring-mvc.xsd http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd">
    <!--配置Spring-MVC-->
    <!-- 一、开启springMVC注解模式-->
    <!-- 简化配置： (1) 自动注册DefaultAnnotationHandlerMapping,AnnotationMethodHandlerAdapter (2) 提供了一系列功能：数据绑定/数字和日期的format@NumberFormat @DateTimeFormat, xml 和 json默认读写支持 -->
    <mvc:annotation-driven/>

    <!--servlet-mapping 映射路径：/ -->

    <!--二、静态资源配置 默认servlet配置 1）加入对静态资源的处理 js gif png 2）容许使用“/”作总体映射 -->
    <mvc:default-servlet-handler/>

    <!-- 三、配置jsp 显示viewResolver-->
    <bean class="org.springframework.web.servlet.view.InternalResourceViewResolver">
        <property name="viewClass" value="org.springframework.web.servlet.view.JstlView"/>
        <property name="prefix" value="/WEB-INF/jsp/"/>
        <property name="suffix" value=".jsp"/>
    </bean>

    <!--四、扫描web相关的bean-->
    <context:component-scan base-package="org.seckill.web"/>
</beans>
复制代码

建立web层，即控制层，实现Restful接口设计

在web.xml文件中配置DispatcherServlet，例：

<web-app xmlns="http://xmlns.jcp.org/xml/ns/javaee" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://xmlns.jcp.org/xml/ns/javaee http://xmlns.jcp.org/xml/ns/javaee/web-app_4_0.xsd" version="4.0" metadata-complete="true">
    <!--配置DispatcherServlet-->
    <servlet>
        <servlet-name>seckill-dispatcher</servlet-name>
        <servlet-class>org.springframework.web.servlet.DispatcherServlet</servlet-class>
        <!-- 配置springMVC须要加载的配置文件 spring-dao.xml,spring-service.xml,spring-web.xml -->
        <init-param>
            <param-name>contextConfigLocation</param-name>
            <param-value>classpath:spring/spring-*.xml</param-value>
        </init-param>
    </servlet>
    <servlet-mapping>
        <servlet-name>seckill-dispatcher</servlet-name>
        <!-- '/'默认匹配全部请求-->
        <url-pattern>/</url-pattern>
    </servlet-mapping>
</web-app>

复制代码

使用BootStrap与jQuery开发页面结构，再使用JS实现交互逻辑

页面测试：成功

高并发优化

优化分析
CDN

CDN（内容分发网络）是加速用户获取数据的系统，部署在离用户最近的网络节点上，命中CDN不须要访问后端服务器。

系统详情页部署到CDN节点，CDN对详情页静态化，详情页中有不少获取静态资源的请求css，js等，这些请求的资源也会部署到CDN，访问详情页不用访问系统，即获取不到系统时间，因此作一个请求获取当前服务器的系统时间颇有必要。

经过上面分析知访问详情页不用访问系统，java访问一次内存（Cacheline）大约10ns，即1秒钟大约可作1亿次，因此获取系统时间不用优化。

秒杀地址接口返回数据会变化，没法使用CDN缓存，适合服务器缓存：Redis等，服务器1秒可抗10wQPS,redis集群后可抗百万级QPS（QPS为每秒查询率），一次性维护成本低。可优化。

redis

其余方案：

NoSQLMQ

优势：可抗很高的并发

缺点：运维成本和稳定型：NoSQL、MQ等为分布式服务，稳定性不足

​ 开发成本：数据一致性，回滚方案等，须要人工处理

幂等性难保证：重复秒杀问题
复制代码

​ 不适合新手的架构

为何不使用MySQL优化？

MySQL真的低效？

测试：同一个id执行update减库存压力测试

update压力测试

约4wQPS

java控制事务行为分析

shiwu

瓶颈分析

fenxi

​ Java GC（Garbage Collection，垃圾收集，垃圾回收）机制

分析结果：不是MySQL、Java慢。缘由为java客户端执行SQL语句，等待执行结果，再作判断，再去执行，而java和数据库通讯之间会有网络延迟或者GC，这些时间也要加载执行事务中，而同一行事务为串行化。

行级锁在commit以后释放，因此优化方向是减小行级锁持有时间

延迟分析

同城机房网络

异地机房网络

如何判断Update更新库存成功？

两个条件：一、Update自身没报错；二、客户端确认Update影响记录数

优化思路：

把客户端逻辑放到MySQL服务端，避免网络延迟和GC影响

如何放到MySQL服务端？

两种解决方案：

——定制SQL方案：update /* + [auto_commit] */ ,须要修改MySQL源码

执行update后自动作回滚，update记录数为1时commit，0则rollback，避免客户端与MySQL服务端之间的网络延迟和GC影响

——使用存储过程：整个事务在MySQL端完成

优化总结：

前端控制：暴露接口（将动、静态数据及核心功能点分离）、按钮防重复

动静态数据分离：CDN缓存、后端缓存（Redis、MemCache）

事务竞争优化：减小事务锁时间

Redis后端缓存优化

Redis安装（64位Windows下）

优化地址暴露接口

导入redis客户端jedis及序列号工具protostuff

dao为放置数据库及其余存储类的包，在dao包下建立cache层，cache层下放RedisDao类，缓存在redis中为二进制数组，若redis中存在缓存，获取二进制数组byte[]，进行反序列化，将数据放入建立的空对象。若不存在缓存，则将对象序列化转换为byte[]放入redis。

改进秒杀实现方法中获取数据，先访问redis，若无数据，则访问数据库，并将数据放入redis。

在spring-dao.xml文件中配置RedisDao，例

<!--RedisDao-->
<bean id="redisDao" class="org.seckill.dao.cache.RedisDao">
    <!--实际配置应放入配置文件-->
    <constructor-arg index="0" value="localhost"/>
    <constructor-arg index="1" value="6379"/>
</bean>
复制代码

此缓存优化一致性维护创建在超时的基础上，由于秒杀对象在正常状况下不会改变，若须要改动，废弃新建。

事务执行优化

update 减库存 【rowLock】 <——网络延迟、GC——> insert 购买明细 <——网络延迟、GC——>

commit/rollback【freeLock】

简单优化——减小了行级锁持有时间，使MySQL得到更高的QPS

insert 购买明细 <——网络延迟、GC——> update 减库存【rowLock】 <——网络延迟、GC——>

commit/rollback【freeLock】

深度优化——将事务SQL在MySQL端执行（存储过程）

在数据库建立存储过程（seckill.sql）

而后在SeckillDao接口中新建使用存储过程执行秒杀的方法，此方法传入参数为Map类型（在service实现方法中须要将结果放入参数告诉MySQL，该操做使用了org.apache.commons.collections的MapUtils方法，需在pom文件中引入）。而后在其对应配置文件中使用mybatis调用存储过程。再在秒杀业务接口中新建经过存储过程执行秒杀操做的方法，在其实现类中实现该方法，在该方法中调用dao接口中的方法。测试1成功。在controller中改用该方法，网页测试，成功。

系统可能用到哪些服务？

CDN、 WebServer：Nginx + Jetty、 Redis、 MySQL

大型系统部署架构

jiagou

开发：前端 + 后端 测试（迭代、修改、压力测试等） DBA（存储过程、分库分表等） 运维（负责机器监控、Nginx配置等）

—关于使用current_timestamp时间与北京时间相差8小时解决办法

blog.csdn.net/uzbekistan/…

—关于Tomcat日志输出中文乱码，网上几种方法无效，待解决

项目代码地址

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程