网络基础、ftp任务（进度条、计算文件大小、断点续传、搭建框架示例）

1、网络基础

一、端口，是什么？为何要有端口？

　　端口是为了将同一个电脑上的不一样程序进行隔离。

　　IP是找电脑；端口是找电脑上的应用程序；

　　端口范围：1 – 65535 ；    1 - 1024 不要用  ；  通常程序员用8000、8001……

二、OSI  七层模型（记住哪七层）

　　应用层，使用软件；                 打开软件或网站

       表示层，看到数据，如图片和视频；   生产原始数据

       会话层，保持登陆或连接状态；       应用偷偷携带一点其余数据： 令牌 19rRNAwf8g

       传输层，TCP/UDP；                [TCP][原始数据|19rRNAwf8g]

       网络层，IP；                      【IP】【[TCP][原始数据|19rRNAwf8g]】

       数据链路层，MAC；                [MAC][ 【IP】【[TCP][原始数据|19rRNAwf8g]】]

       物理层，将数据转换成电信号发送；

三、TCP三次握手，四次挥手

　　socket客户端向服务端发起链接请求：三次握手（只能先由客户端向服务端发起请求）

　　　　client.connect((……))

              客户端                           服务端

              我能打你吗

                                                 来呀来呀

              好的，我这就来

              ----------------------------------------

              client.send(收发数据)

              收发数据                     收发数据

　　客户端和服务端断开链接：四次挥手（客户端和服务端均可以主动断开链接）

　　　　client.close() 或者 conn.close()

              ------------------------------------------------------------

              我要断开链接

                                          断开就断开，等我处理一些手头的事情

                                          ……

                                          我处理完了，断开吧

              拜拜

　　补充：断开链接时，反应到代码上：抛出异常（windows）/发送空内容（linux和mac系统）

总结：必须了解网络相关知识。

2、FTP任务分析（进度条、计算文件大小、断点续传、搭建框架示例）

一、进度条（\r移动到行首、print不换行end=””）

import time def jdt(now,all): # 进度条函数
        per = int(now / all * 100) print('\r%s %s%%' % ('*'*per , per) ,end='') time.sleep(0.05) for i in range(101): jdt(i,100) # 执行进度条函数

二、计算文件大小

　　以前咱们学过一种计算文件大小的方式：os.path.getsize(file_path)，如今再来学习一种方式：

import os size1 = os.path.getsize('server.py') size2 = os.stat('server.py').st_size print(size1,size2)  # 1844 1844

三、断点续传

　　咱们先来写一个断点续传（脚本主要实现了客户端向服务端上传文件，上传过程当中中断的话，再次上传此文件时接着上次中断的地方继续上传）的简单示例，而后从中提取一些编程思想：

import os import json import socketserver import shutil CODE = { '1001':'上传文件，从头开始上传' } def upload(cmd_dict,conn,username): """ 服务端完成上传文件（含断点续传） :param cmd_dict: :param conn: :return: """
        # 2. 获取文件信息
        file_md5 = cmd_dict['md5'] file_name = cmd_dict['file_name'] file_md5_path = os.path.join(username, file_md5) file_name_path = os.path.join(username, file_name) upload_file_size = cmd_dict['size'] # 3. 判断文件是否存在
        exist = os.path.exists(file_md5_path) if not exist:  # 不续传
            # 3.1.1 能够开始上传了，我已经准备好。
            response = {'code': 1001} conn.sendall(json.dumps(response).encode('utf-8')) # 3.1.2 接收上传的文件内容
            f = open(file_md5_path, 'wb') recv_size = 0 while recv_size < upload_file_size: data = conn.recv(1024) f.write(data) f.flush() recv_size += len(data) return f.close() # 3.1.3 更名字
 shutil.move(file_md5_path, file_name_path) else:  # 续传
            # 3.2 续传+大小
            exist_size = os.stat(file_md5_path).st_size response = {'code': 1002, 'size': exist_size} conn.sendall(json.dumps(response).encode('utf-8')) f = open(file_md5_path, 'ab') recv_size = exist_size while recv_size < upload_file_size: data = conn.recv(1024) f.write(data) f.flush() recv_size += len(data) f.close() # 3.1.3 更名字
 shutil.move(file_md5_path, file_name_path) class NbServer(socketserver.BaseRequestHandler): def handle(self): """ self.request 是客户端的socket对象 :return: """
            # 1. 接收命令
            upload_cmd_bytes = self.request.recv(8096) cmd_dict = json.loads(upload_cmd_bytes.decode('utf-8')) if cmd_dict['cmd'] == 'upload': upload(cmd_dict,self.request,'lili')  # 服务端代码有个文件夹（lili）才能运行
            elif cmd_dict['cmd'] == 'download': pass

    if __name__ == '__main__': server =     socketserver.ThreadingTCPServer(('127.0.0.1',8001),NbServer) server.serve_forever()

服务端代码

import os import socket import json import hashlib CODE = { '1001':'上传文件，从头开始上传' } def file_md5(file_path): """ 文件进行md5加密 :param file_path: :return: """ obj = open(file_path,'rb') m = hashlib.md5() for line in obj: m.update(line) obj.close() return m.hexdigest() def jdt(size,total_size): """ 显示进度条 :return: """ val = int(size / total_size * 100) print('\r%s%%|%s' % (val, "#" * val,), end='') def send_file(exist_size,file_total_size): """ 发送文件 :param exist_size:开始读取字节的位置 :param file_total_size: 文件总字节大小 :return: """ f = open(file_path, 'rb') f.seek(exist_size) send_size = exist_size while send_size < file_total_size: data = f.read(1024) sk.sendall(data) send_size += len(data) jdt(send_size,file_total_size) f.close() print('上传成功') def upload(file_path): """ 文件上传（含断点） :param file_path: :return: """ file_md5_val = file_md5(file_path) file_name = os.path.basename(file_path) file_size = os.stat(file_path).st_size cmd_dict = {'cmd': 'upload', 'file_name': file_name, 'size': file_size, 'md5': file_md5_val} upload_cmd_bytes = json.dumps(cmd_dict).encode('utf-8') sk.sendall(upload_cmd_bytes) # 2. 等待服务端的响应
        response = json.loads(sk.recv(8096).decode('utf-8')) if response['code'] == 1001: send_file(0, file_size) else: # 短点续传
            exist_size = response['size'] send_file(exist_size,file_size) sk = socket.socket() sk.connect(('127.0.0.1',8001)) while True: # upload|文件路|径
        user_input = input("请输入要执行的命令") # 1. 自定义协议{'cmd':'upload','file_path':'.....'}
        cmd,file_path = user_input.split('|',maxsplit=1) if cmd == 'upload': upload(file_path) elif cmd == 'download': pass

客户端代码

总结：

　　1）CODE 自定义状态码；

       2）自定义规范： {'code':1000 }；

       3）if…else… 分支用 反射；

　　4）其余：删除修改文件，以下示例：

import os import shutil # py2 + win：报错
    os.rename('a.txt','b.txt') # py2 + py3 都不会报错
    shutil.move('c.txt','a.txt')  # 若a.txt已经存在，则会将其覆盖掉
    shutil.rmtree('E:\@Lily\pythonDemo\classic') # 递归删除一个目录以及目录内的全部内容

四、搭建框架示例

# myProject/

　　 # ├── bin   （当前项目的启动脚本在这里）

　　 # │   ├── start.py
　　 # ├── core   （核心代码都在这里）
　　 # │   └── main.py
　　 # └── db
　　 #     └── userInfo.json

　　 # └── lib（不是内置和第三方模块，多是本身写的，较完善且跟此程序相关性小）
　　 #     └── models.py

　　 # └── conf（配置文件，多处用到某个值之后可能会被修改，则写到配置文件中）
　　 #     └── settings.py

　　 # └── log（日志文件，供用户查看追责或者公司分析数据）
　　 #     └── all.log

        # ├── readme （对程序做说明，说明如何使用此程序）