首先和你们说个对不起,因为总结了太多的东西,因此篇幅有点长,这也是我"缝缝补补"总结了很久的东西,对于Nginx的东西我没总结在这里,你们能够Python聚焦看,点击直达专栏哦。html
新增enum,mock,ipaddress,concurrent.futures,asyncio urllib,selector前端
#枚举的注意事项 from enum import Enum class COLOR(Enum): YELLOW=1 #YELLOW=2#会报错 GREEN=1#不会报错,GREEN能够看做是YELLOW的别名 BLACK=3 RED=4 print(COLOR.GREEN)#COLOR.YELLOW,仍是会打印出YELLOW for i in COLOR:#遍历一下COLOR并不会有GREEN print(i) #COLOR.YELLOW\nCOLOR.BLACK\nCOLOR.RED\n怎么把别名遍历出来 for i in COLOR.__members__.items(): print(i) # output:('YELLOW', <COLOR.YELLOW: 1>)\n('GREEN', <COLOR.YELLOW: 1>)\n('BLACK', <COLOR.BLACK: 3>)\n('RED', <COLOR.RED: 4>) for i in COLOR.__members__: print(i) # output:YELLOW\nGREEN\nBLACK\nRED #枚举转换 #最好在数据库存取使用枚举的数值而不是使用标签名字字符串 #在代码里面使用枚举类 a=1 print(COLOR(a))# output:COLOR.YELLOW
fnmatchpython
fnmatch根据系统决定mysql
def isLen(strString): #仍是应该使用三元表达式,更快 return True if len(strString)>6 else False def isLen1(strString): #这里注意false和true的位置 return [False,True][len(strString)>6] import timeit print(timeit.timeit('isLen1("5fsdfsdfsaf")',setup="from __main__ import isLen1")) print(timeit.timeit('isLen("5fsdfsdfsaf")',setup="from __main__ import isLen"))
contextlibgit
import types types.coroutine #至关于实现了__await__
import html html.escape("<h1>I'm Jim</h1>") # output:'<h1>I'm Jim</h1>' html.unescape('<h1>I'm Jim</h1>') # <h1>I'm Jim</h1>
concurrent(建立进程池河线程池)github
from concurrent.futures import ThreadPoolExecutor pool = ThreadPoolExecutor() task = pool.submit(函数名,(参数)) #此方法不会阻塞,会当即返回 task.done()#查看任务执行是否完成 task.result()#阻塞的方法,查看任务返回值 task.cancel()#取消未执行的任务,返回True或False,取消成功返回True task.add_done_callback()#回调函数 task.running()#是否正在执行 task就是一个Future对象 for data in pool.map(函数,参数列表):#返回已经完成的任务结果列表,根据参数顺序执行 print(返回任务完成得执行结果data) from concurrent.futures import as_completed as_completed(任务列表)#返回已经完成的任务列表,完成一个执行一个 wait(任务列表,return_when=条件)#根据条件进行阻塞主线程,有四个条件
asyncioweb
future=asyncio.ensure_future(协程) 等于后面的方式 future=loop.create_task(协程) future.add_done_callback()添加一个完成后的回调函数 loop.run_until_complete(future) future.result()查看写成返回结果 asyncio.wait()接受一个可迭代的协程对象 asynicio.gather(*可迭代对象,*可迭代对象) 二者结果相同,但gather能够批量取消,gather对象.cancel() 一个线程中只有一个loop 在loop.stop时必定要loop.run_forever()不然会报错 loop.run_forever()能够执行非协程 最后执行finally模块中 loop.close() asyncio.Task.all_tasks()拿到全部任务 而后依次迭代并使用任务.cancel()取消 偏函数partial(函数,参数)把函数包装成另外一个函数名 其参数必须放在定义函数的前面 loop.call_soon(函数,参数) call_soon_threadsafe()线程安全 loop.call_later(时间,函数,参数) 在同一代码块中call_soon优先执行,而后多个later根据时间的升序进行执行 若是非要运行有阻塞的代码 使用loop.run_in_executor(executor,函数,参数)包装成一个多线程,而后放入到一个task列表中,经过wait(task列表)来运行 经过asyncio实现http reader,writer=await asyncio.open_connection(host,port) writer.writer()发送请求 async for data in reader: data=data.decode("utf-8") list.append(data) 而后list中存储的就是html as_completed(tasks)完成一个返回一个,返回的是一个可迭代对象 协程锁 async with Lock():
进程间通讯:面试
from multiprocessing import Manager,Process def add_data(p_dict, key, value): p_dict[key] = value if __name__ == "__main__": progress_dict = Manager().dict() from queue import PriorityQueue first_progress = Process(target=add_data, args=(progress_dict, "bobby1", 22)) second_progress = Process(target=add_data, args=(progress_dict, "bobby2", 23)) first_progress.start() second_progress.start() first_progress.join() second_progress.join() print(progress_dict)
from multiprocessing import Pipe,Process #pipe的性能高于queue def producer(pipe): pipe.send("bobby") def consumer(pipe): print(pipe.recv()) if __name__ == "__main__": recevie_pipe, send_pipe = Pipe() #pipe只能适用于两个进程 my_producer= Process(target=producer, args=(send_pipe, )) my_consumer = Process(target=consumer, args=(recevie_pipe,)) my_producer.start() my_consumer.start() my_producer.join() my_consumer.join()
from multiprocessing import Queue,Process def producer(queue): queue.put("a") time.sleep(2) def consumer(queue): time.sleep(2) data = queue.get() print(data) if __name__ == "__main__": queue = Queue(10) my_producer = Process(target=producer, args=(queue,)) my_consumer = Process(target=consumer, args=(queue,)) my_producer.start() my_consumer.start() my_producer.join() my_consumer.join()
def producer(queue): queue.put("a") time.sleep(2) def consumer(queue): time.sleep(2) data = queue.get() print(data) if __name__ == "__main__": queue = Manager().Queue(10) pool = Pool(2) pool.apply_async(producer, args=(queue,)) pool.apply_async(consumer, args=(queue,)) pool.close() pool.join()
sys模块几个经常使用方法redis
a in s or b in s or c in s简写算法
# 方法一 True in [i in s for i in [a,b,c]] # 方法二 any(i in s for i in [a,b,c]) # 方法三 list(filter(lambda x:x in s,[a,b,c]))
set集合运用
代码中中文匹配
查看系统默认编码格式
import sys sys.getdefaultencoding() # setdefaultencodeing()设置系统编码方式
getattr VS getattribute
class A(dict): def __getattr__(self,value):#当访问属性不存在的时候返回 return 2 def __getattribute__(self,item):#屏蔽全部的元素访问 return item
globals/locals(能够变相操做代码)
python变量名的解析机制(LEGB)
print([[x for x in range(1,101)][i:i+3] for i in range(0,100,3)])
什么是元类?
type.__bases__ #(<class 'object'>,) object.__bases__ #() type(object) #<class 'type'>
class Yuan(type): def __new__(cls,name,base,attr,*args,**kwargs): return type(name,base,attr,*args,**kwargs) class MyClass(metaclass=Yuan): pass
什么是鸭子类型(即:多态)?
深拷贝和浅拷贝
单元测试
class MyTest(unittest.TestCase): def tearDown(self):# 每一个测试用例结束后执行 print('本方法结束测试了') def setUp(self):# 每一个测试用例执行以前作操做 print('本方法测试开始了') @classmethod def tearDownClass(self):# 必须使用 @ classmethod装饰器, 全部test运行完后运行一次 print('开始测试') @classmethod def setUpClass(self):# 必须使用@classmethod 装饰器,全部test运行前运行一次 print('结束测试') def test_a_run(self): self.assertEqual(1, 1) # 测试用例
什么是monkey patch?
什么是自省(Introspection)?
python是值传递仍是引用传递?
try-except-else-finally中else和finally的区别
GIL全局解释器锁
什么是Cython
生成器和迭代器
实现__next__和__iter__方法的对象就是迭代器
什么是协程
实现方式
dict底层结构
Hash扩容和Hash冲突解决方案
冲突解决:
for gevent import monkey monkey.patch_all() #将代码中全部的阻塞方法都进行修改,能够指定具体要修改的方法
co_flags = func.__code__.co_flags # 检查是不是协程 if co_flags & 0x180: return func # 检查是不是生成器 if co_flags & 0x20: return func
斐波那契解决的问题及变形
#一只青蛙一次能够跳上1级台阶,也能够跳上2级。求该青蛙跳上一个n级的台阶总共有多少种跳法。 #请问用n个2*1的小矩形无重叠地覆盖一个2*n的大矩形,总共有多少种方法? #方式一: fib = lambda n: n if n <= 2 else fib(n - 1) + fib(n - 2) #方式二: def fib(n): a, b = 0, 1 for _ in range(n): a, b = b, a + b return b #一只青蛙一次能够跳上1级台阶,也能够跳上2级……它也能够跳上n级。求该青蛙跳上一个n级的台阶总共有多少种跳法。 fib = lambda n: n if n < 2 else 2 * fib(n - 1)
import os os.getenv(env_name,None)#获取环境变量若是不存在为None
垃圾回收机制
#查看分代回收触发 import gc gc.get_threshold() #output:(700, 10, 10)
C10M/C10K
yield from与yield的区别:
单下划线的几种使用
def conver_bin(num): if num == 0: return num re = [] while num: num, rem = divmod(num,2) re.append(str(rem)) return "".join(reversed(re)) conver_bin(10)
list1 = ['A', 'B', 'C', 'D'] # 方法一 for i in list1: globals()[i] = [] # 能够用于实现python版反射 # 方法二 for i in list1: exec(f'{i} = []') # exec执行字符串语句
# bytearray是可变的,bytes是不可变的,memoryview不会产生新切片和对象 a = 'aaaaaa' ma = memoryview(a) ma.readonly # 只读的memoryview mb = ma[:2] # 不会产生新的字符串 a = bytearray('aaaaaa') ma = memoryview(a) ma.readonly # 可写的memoryview mb = ma[:2] # 不会会产生新的bytearray mb[:2] = 'bb' # 对mb的改动就是对ma的改动
Ellipsis类型
# 代码中出现...省略号的现象就是一个Ellipsis对象 L = [1,2,3] L.append(L) print(L) # output:[1,2,3,[…]]
class lazy(object): def __init__(self, func): self.func = func def __get__(self, instance, cls): val = self.func(instance) #其至关于执行的area(c),c为下面的Circle对象 setattr(instance, self.func.__name__, val) return val` class Circle(object): def __init__(self, radius): self.radius = radius @lazy def area(self): print('evalute') return 3.14 * self.radius ** 2
遍历文件,传入一个文件夹,将里面全部文件的路径打印出来(递归)
all_files = [] def getAllFiles(directory_path): import os for sChild in os.listdir(directory_path): sChildPath = os.path.join(directory_path,sChild) if os.path.isdir(sChildPath): getAllFiles(sChildPath) else: all_files.append(sChildPath) return all_files
文件存储时,文件名的处理
#secure_filename将字符串转化为安全的文件名 from werkzeug import secure_filename secure_filename("My cool movie.mov") # output:My_cool_movie.mov secure_filename("../../../etc/passwd") # output:etc_passwd secure_filename(u'i contain cool \xfcml\xe4uts.txt') # output:i_contain_cool_umlauts.txt
日期格式化
from datetime import datetime datetime.now().strftime("%Y-%m-%d") import time #这里只有localtime能够被格式化,time是不能格式化的 time.strftime("%Y-%m-%d",time.localtime())
tuple使用+=奇怪的问题
# 会报错,可是tuple的值会改变,由于t[1]id没有发生变化 t=(1,[2,3]) t[1]+=[4,5] # t[1]使用append\extend方法并不会报错,并能够成功执行
__missing__你应该知道
class Mydict(dict): def __missing__(self,key): # 当Mydict使用切片访问属性不存在的时候返回的值 return key
+与+=
# +不能用来链接列表和元祖,而+=能够(经过iadd实现,内部实现方式为extends(),因此能够增长元组),+会建立新对象 不可变对象没有__iadd__方法,因此直接使用的是__add__方法,所以元祖可使用+=进行元祖之间的相加
如何将一个可迭代对象的每一个元素变成一个字典的全部键?
dict.fromkeys(['jim','han'],21) # output:{'jim': 21, 'han': 21}
什么是HTTPS?
204 No Content //请求成功处理,没有实体的主体返回,通常用来表示删除成功 206 Partial Content //Get范围请求已成功处理 303 See Other //临时重定向,指望使用get定向获取 304 Not Modified //求情缓存资源 307 Temporary Redirect //临时重定向,Post不会变成Get 401 Unauthorized //认证失败 403 Forbidden //资源请求被拒绝 400 //请求参数错误 201 //添加或更改为功 503 //服务器维护或者超负载
# environ:一个包含全部HTTP请求信息的dict对象 # start_response:一个发送HTTP响应的函数 def application(environ, start_response): start_response('200 OK', [('Content-Type', 'text/html')]) return '<h1>Hello, web!</h1>'
三次握手四次挥手
为何链接的时候是三次握手,关闭的时候倒是四次握手?
为何TIME_WAIT状态须要通过2MSL(最大报文段生存时间)才能返回到CLOSE状态?
XSS/CSRF
索引改进过程
何时索引失效
没有知足最左前缀原则
失效场景:
应尽可能避免在 where 子句中对字段进行函数操做,这将致使引擎放弃使用索引而进行全表扫描
例如: select id from t where substring(name,1,3) = 'abc' – name; 以abc开头的,应改为: select id from t where name like ‘abc%’ 例如: select id from t where datediff(day, createdate, '2005-11-30') = 0 – '2005-11-30'; 应改成:
应尽可能避免在 where 子句中对字段进行表达式操做,这将致使引擎放弃使用索引而进行全表扫描
如: select id from t where num/2 = 100 应改成: select id from t where num = 100*2;
什么是汇集索引
为何这么快?
使用单线程减小线程间切换
优点
什么是redis事务?
持久化方式
RDB(快照)
怎么实现队列
经常使用的数据类型(Bitmaps,Hyperloglogs,范围查询等不经常使用)
String(字符串):计数器
List(列表):用户的关注,粉丝列表
Set(集合):用户的关注者
Zset(有序集合):实时信息排行榜
与Memcached区别
Redis实现分布式锁
常见问题
缓存雪崩
缓存穿透
缓存预热
缓存更新
缓存降级
一致性Hash算法
基于redis实现一个分布式锁,要求一个超时的参数
Unix五种i/o模型
多路复用io(Python下使用selectot实现io多路复用)
select
poll
epoll
比man更好使用的命令手册
kill -9和-15的区别
分页机制(逻辑地址和物理地址分离的内存分配管理方案):
分段机制
查看cpu内存使用状况?
# 方式一 def Single(cls,*args,**kwargs): instances = {} def get_instance (*args, **kwargs): if cls not in instances: instances[cls] = cls(*args, **kwargs) return instances[cls] return get_instance @Single class B: pass # 方式二 class Single: def __init__(self): print("单例模式实现方式二。。。") single = Single() del Single # 每次调用single就能够了 # 方式三(最经常使用的方式) class Single: def __new__(cls,*args,**kwargs): if not hasattr(cls,'_instance'): cls._instance = super().__new__(cls,*args,**kwargs) return cls._instance
class Dog: def __init__(self): print("Wang Wang Wang") class Cat: def __init__(self): print("Miao Miao Miao") def fac(animal): if animal.lower() == "dog": return Dog() if animal.lower() == "cat": return Cat() print("对不起,必须是:dog,cat")
class Computer: def __init__(self,serial_number): self.serial_number = serial_number self.memory = None self.hadd = None self.gpu = None def __str__(self): info = (f'Memory:{self.memoryGB}', 'Hard Disk:{self.hadd}GB', 'Graphics Card:{self.gpu}') return ''.join(info) class ComputerBuilder: def __init__(self): self.computer = Computer('Jim1996') def configure_memory(self,amount): self.computer.memory = amount return self #为了方便链式调用 def configure_hdd(self,amount): pass def configure_gpu(self,gpu_model): pass class HardwareEngineer: def __init__(self): self.builder = None def construct_computer(self,memory,hdd,gpu) self.builder = ComputerBuilder() self.builder.configure_memory(memory).configure_hdd(hdd).configure_gpu(gpu) @property def computer(self): return self.builder.computer
def quick_sort(_list): if len(_list) < 2: return _list pivot_index = 0 pivot = _list(pivot_index) left_list = [i for i in _list[:pivot_index] if i < pivot] right_list = [i for i in _list[pivot_index:] if i > pivot] return quick_sort(left) + [pivot] + quick_sort(right)
def select_sort(seq): n = len(seq) for i in range(n-1) min_idx = i for j in range(i+1,n): if seq[j] < seq[min_inx]: min_idx = j if min_idx != i: seq[i], seq[min_idx] = seq[min_idx],seq[i]
def insertion_sort(_list): n = len(_list) for i in range(1,n): value = _list[i] pos = i while pos > 0 and value < _list[pos - 1] _list[pos] = _list[pos - 1] pos -= 1 _list[pos] = value print(sql)
def merge_sorted_list(_list1,_list2): #合并有序列表 len_a, len_b = len(_list1),len(_list2) a = b = 0 sort = [] while len_a > a and len_b > b: if _list1[a] > _list2[b]: sort.append(_list2[b]) b += 1 else: sort.append(_list1[a]) a += 1 if len_a > a: sort.append(_list1[a:]) if len_b > b: sort.append(_list2[b:]) return sort def merge_sort(_list): if len(list1)<2: return list1 else: mid = int(len(list1)/2) left = mergesort(list1[:mid]) right = mergesort(list1[mid:]) return merge_sorted_list(left,right)
from heapq import nsmallest def heap_sort(_list): return nsmallest(len(_list),_list)
from collections import deque class Stack: def __init__(self): self.s = deque() def peek(self): p = self.pop() self.push(p) return p def push(self, el): self.s.append(el) def pop(self): return self.pop()
from collections import deque class Queue: def __init__(self): self.s = deque() def push(self, el): self.s.append(el) def pop(self): return self.popleft()
def binary_search(_list,num): mid = len(_list)//2 if len(_list) < 1: return Flase if num > _list[mid]: BinarySearch(_list[mid:],num) elif num < _list[mid]: BinarySearch(_list[:mid],num) else: return _list.index(num)
为何mysql数据库的主键使用自增的整数比较好?使用uuid能够吗?为何?
若是是分布式系统下咱们怎么生成数据库的自增id呢?
基于redis实现一个分布式锁,要求一个超时的参数
若是redis单个节点宕机了,如何处理?还有其余业界的方案实现分布式锁码?
数据库
慢查询消除
网络io
缓存
异步
并发