Python40 epoll 使用和数据库 1.数据库相关概念--很是重要 2.数据库与文件系统的对应关系---很是重要 3.数据库安装方式--掌握 4. 链接服务器的指令 必要掌握 5.修改管理员密

 复习

IO模型

1.阻塞IO模型

2.非阻塞IO模型

3.多路复用IO模型

4.异步IO模型

 

详解：

IO 模型

网络传输数据的两个阶段

send     从应用程序copy到操做系统
recv     等待数据到达缓冲区    wait_data   而后在从操做系统缓冲区copy应用程序
wait_data 耗时最长
咱们的目的就等待数据的这一段时间 合理的利用CPU来提升效率

1.阻塞IO
    默认状况下就是阻塞IO模型
    当执行recv时 若是对方没有数据到达  那么程序阻塞在原地
        线程池   有最大限制 不能无限的开线程
        来了1000 因此开了1000线程 致使1001 客户端不能正常访问
        并且颇有可能不少线程处于阻塞状态,浪费了资源
    可使用协程
        协程是单线程并发处理,
        检测IO操做    当发生IO操做时 切换到其余任务来执行
        协程的原理是把本来阻塞的操做 换成非阻塞的操做


2.非阻塞IO    ===   非阻塞的网络IO    了解
    非阻塞  即  即便遇到了IO操做  也不会阻塞在原地 会继续往下执行
    server  是一个服务器socket对象
    server.setblocking(Fasle) 设置为非阻塞
    问题是:  每次读取数据时 不必定有数据   为了可以及时处理数据 只能不停的询问   忙轮询
        这种忙轮询的方式,即便没有数据须要处理 也须要不停的循环,形成了无用CPU占用

3.多路复用
    假设本来有30个socket 须要咱们本身来处理, 若是是非阻塞IO模型,至关于从头开始问道尾,若是没有须要处理的
    回过头来再次重复,

    多路复用解决问题的思路,找一个代理即select,将你的socket交给select来检测
    select 会返回 那些已经准备好的 可读或者可写的socket
    咱们拿着这些准备好的socket 直接处理便可

    对比线程池
        避免了开启线程的资源消耗
    缺点:
        同时检测socket不能超过1024
注：epol就能够解决1024这个限制（仅在Linux）


4.异步IO
    阻塞IO    recv  accept 会将当前线程阻塞住      同步
    非阻塞IO  recv  accept 不会阻塞当前线程  ,没有数据直接抛出异常
    分析 属于同步仍是异步?
            recv (wait_data,copy_data)    设置为非阻塞以后   wait_data不会再阻塞
            可是copy_data 也是IO操做 仍是会阻塞
            也属于同步

    多路复用  也属于同步IO


    同步  异步   任务的执行方式
    同步IO  执行IO任务的方式
    异步IO

异步IO
    线程池中的submit 就是异步任务
    异步的特色就是  立马就会返回
    同步翻译为sync   异步async

 

 

 

今日内容

1.epoll

2.程序阻塞过程分析

3. 进程的唤醒

4.select监控多个socket

5. epol l要解决的问题

6.epoll相关函数

7.案例说明：格式

 

1.epoll

select 只能同时处理1024个客户端,

多线程会遇到资源瓶颈,什么才是解决高并发最有效的方式呢

linux中提供了epoll 这种多路复用的IO模型,注意其余平台没有相应的实现

因此epoll仅在linux中可用

 

 

 

2.程序阻塞过程分析

     1.系统会建立文件描述符指向一个socket对象 ,其包含了读写缓冲区,已经进行等待队列

     2.当执行到accept / recv 时系统会讲进程A 从工做队列中移除

     3.将进程A的引用添加到 socket对象的等待队列中

 

3. 进程的唤醒

      1.当网卡收到数据后会现将数据写入到缓冲区

      2.发送中断信号给CPU

      3.CPU执行中断程序,将数据从内核copy到socket的缓冲区

      4.唤醒进程,即将进程A切换到就绪态,同时从socket的等待队列中移除这个进程引用

 

4. select监控多个socket

select的实现思路比较直接

     1.先将全部socket放到一个列表中,

     2.遍历这个列表将进程A 添加到每一个socket的等待队列中   而后阻塞进程

     3.当数据到达时,cpu执行中断程序将数据copy给socket 同时唤醒处于等待队列中的进程A

为了防止重复添加等待队列 还须要移除已经存在的进程A

    4.进程A唤醒后 因为不清楚那个socket有数据,因此须要遍历一遍全部socket列表

 

从上面的过程当中不难看出

   1.select,须要遍历socket列表,频繁的对等待队列进行添加移除操做,

   2.数据到达后还须要给遍历全部socket才能获知哪些socket有数据

    两个操做消耗的时间随着要监控的socket的数量增长而大大增长,

     处于效率考虑才规定了最大只能监视1024个socket

 

5.epol l要解决的问题

      1.避免频繁的对等待队列进行操做

      2.避免遍历全部socket

 

对于第一个问题咱们先看select的处理方式

while True:
 r_list,w_list,x_list = select.select(rlist,wlist,xlist)
  

每次处理完一次读写后,都须要将所用过冲重复一遍,包括移除进程,添加进程,默认就会将进程添加到等待队列,并阻塞住进程,然而等待队列的更新操做并不频繁,

因此对于第一个问题epoll,采起的方案是,将对等待队列的维护和,阻塞进程这两个操做进行拆分,

相关代码以下

import socket,select
server = socket.socket()
server.bind(("127.0.0.1",1688))
server.listen(5)
​
#建立epoll事件对象，后续要监控的事件添加到其中
epoll = select.epoll()
#注册服务器监听fd到等待读事件集合
epoll.register(server.fileno(), select.EPOLLIN)   # 须要关注 server这个socket的可读事件
​
# 等待事件发生
while True:
 for sock,event in epoll.poll():
    pass

在epoll中register 与 unregister函数用于维护等待队列

register  是进程添加到等待队列中  unregister 把进程从等待队列中删除  

使用这两个函数咱们本身来控制等待队列的添加和删除 从而避免频繁操做等待队列 

 

epoll.poll则用于阻塞进程

这样一来就避免了 每次处理都须要从新操做等待队列的问题

 

第二个问题是select中进程没法获知哪些socket是有数据的因此须要遍历

epol为了解决这个问题,在内核中维护了一个就绪列表,

   1.建立epoll对象,epoll也会对应一个文件,由文件系统管理

   2.执行register时,将epoll对象 添加到socket的等待队列中

   3.数据到达后,CPU执行中断程序,将数据copy给socket

   4.在epoll中,中断程序接下来会执行epoll对象中的回调函数,传入就绪的socket对象

   5.将socket,添加到就绪列表中

   6.唤醒epoll等待队列中的进程,

进程唤醒后,因为存在就绪列表,因此不须要再遍历socket了,直接处理就绪列表便可 

 

成果：解决了这两个问题后,并发量获得大幅度提高,最大可同时维护上万级别的socket

 

6.epoll相关函数

import select 导入select模块

epoll = select.epoll() 建立一个epoll对象

epoll.register(文件句柄,事件类型) 注册要监控的文件句柄和事件

事件类型:

　　select.EPOLLIN    可读事件

　　select.EPOLLOUT   可写事件

　　select.EPOLLERR   错误事件

　　select.EPOLLHUP   客户端断开事件

epoll.unregister(文件句柄)   销毁文件句柄

epoll.poll(timeout)  当文件句柄发生变化，则会以列表的形式主动报告给用户进程,timeout

                     为超时时间，默认为-1，即一直等待直到文件句柄发生变化，若是指定为1

                     那么epoll每1秒汇报一次当前文件句柄的变化状况，若是无变化则返回空

epoll.fileno() 返回epoll的控制文件描述符(Return the epoll control file descriptor)

epoll.modfiy(fineno,event) fineno为文件描述符 event为事件类型  做用是修改文件描述符所对应的事件

epoll.fromfd(fileno) 从1个指定的文件描述符建立1个epoll对象

epoll.close()   关闭epoll对象的控制文件描述符

 

 

7.案例说明 ：格式

客户端：

#coding:utf-8
#客户端
#建立客户端socket对象
import socket
clientsocket = socket.socket(socket.AF_INET,socket.SOCK_STREAM)
#服务端IP地址和端口号元组
server_address = ('127.0.0.1',1688)
#客户端链接指定的IP地址和端口号
clientsocket.connect(server_address)

while True:
    #输入数据
    data = raw_input('please input:')
    if data == "q":
        break
    if not data:
      continue
    #客户端发送数据
    clientsocket.send(data.encode("utf-8"))
    #客户端接收数据
    server_data = clientsocket.recv(1024)
    print ('客户端收到的数据：',server_data)
#关闭客户端socket
clientsocket.close()

服务器：

# coding:utf-8
import socket, select

server = socket.socket()
server.bind(("127.0.0.1", 1688))
server.listen(5)

msgs = []

fd_socket = {server.fileno(): server}
epoll = select.epoll()
# 注册服务器的 写就绪
epoll.register(server.fileno(), select.EPOLLIN)

while True:
    for fd, event in epoll.poll():
        sock = fd_socket[fd]
        print(fd, event)
        # 返回的是文件描述符 须要获取对应socket
        if sock == server:  # 若是是服务器 就接受请求
            client, addr = server.accept()
            # 注册客户端写就绪
            epoll.register(client.fileno(), select.EPOLLIN)
            # 添加对应关系
            fd_socket[client.fileno()] = client

        # 读就绪
        elif event == select.EPOLLIN:
            data = sock.recv(2018)
            if not data:
                # 注销事件
                epoll.unregister(fd)
                # 关闭socket
                sock.close()
                # 删除socket对应关系
                del fd_socket[fd]
                print(" somebody fuck out...")
                continue

            print(data.decode("utf-8"))
            # 读完数据 须要把数据发回去因此接下来更改成写就绪=事件
            epoll.modify(fd, select.EPOLLOUT)
            #记录数据
            msgs.append((sock,data.upper()))
        elif event == select.EPOLLOUT:
            for item in msgs[:]:
                if item[0] == sock:
                    sock.send(item[1])
                    msgs.remove(item)
            # 切换关注事件为写就绪
            epoll.modify(fd,select.EPOLLIN)

 

 

 

 

数据库安装

 

1.数据库相关概念--很是重要

2.数据库与文件系统的对应关系---很是重要

3.数据库安装方式--掌握

4. 链接服务器的指令  必要掌握

5.修改管理员密码---了解

 

 

1.数据库相关概念  很是重要

数据库本质就是一套CS结构的TCP程序，

客户端链接到服务器 向服务器发送指令，来完成数据的操做 

 

2.数据库 与 文件系统的对应关系  很是重要

一个数据项   name = jerry                   本质是文件中某一行的 一部分数据

一条记录  jerry，18，man                  本质是文件里的一行数据

一张表                                                 本质是一个文件

数据库                                                 文件夹 

DBMS  DataBaseManagerSystem      数据库管理系统   数据库的服务器端程序

数据库服务器                                      运行有DBMS的计算机 

 

 

3.安装方式:    掌握

    1.下载解压包 

    2.解压到某个目录下

    3.添加环境变量

​ 将bin所在的完整路径 copy 添加系统的path中 

    4.做为服务器 应该自启动mysql服务器   须要制系统服务

​ mysqld --install    运行输入services 查看是是否成功

​  删除服务 sc delete mysql    若是须要重装的话...

​ 启动服务  net start mysql

​ 中止服务 net stop mysql

4. 链接服务器的指令  必要掌握

本质是TCP程序,必须指定ip和端口 ,若是服务器就运行在本机上 能够省略ip  若是端口没改过 也能够省略端口 

完整的写法 :

```
mysql -hip -P端口 -u用户名  -p密码 
实例: mysql -uroot -p
   
mysql 5.6 默认是没有密码的
```

 

5. 修改管理员密码   了解

1.若是知道原始密码  可使用mysqladmin 这个工具

```python
mysqladmin -p旧密码  -u用户名 password 新密码
实例: mysqladmin -uroot -p  password 123
```

2.不知道原始密码的状况  

​ 删除密码文件,会删除全部受权信息  

​ 跳过受权表 咱们能够在启动服务器时  指定让其忽略受权信息

​ 1.先关闭mysql服务器  直接在终端执行 mysqld --skip-grant-tables

​ 2.无密码登陆root帐户

​ 3.执行更新语句 

​  update mysql.user set password = password("123") where user="root" and host = "localhost";

​  

​