本人准备用python作图像和视频编辑的操做,却发现opencv和PIL的效率并非很理想,而且一样的需求有多种不一样的写法并有着不一样的效率。见全网并没有较完整的效率对比文档,遂决定本身丰衣足食。html
本篇文章将对Python下的opencv接口函数及PIL(Pillow)函数的经常使用部分进行逐个运行并计时(屡次测算取平均时间和最短期,次数通常在100次以上),并简单使用numba、ctypes、cython等方法优化代码。python
CPU:Intel(R) Core(TM) i3-3220 CPU @ 3.30GHz 3.30 GHzgit
内存:4.00 GBgithub
硬盘:ATA WDC WD5000AAKX-7 SCSI Disk Device算法
操做系统:Windows 7 Service Pack 1 Ultimate 64bit zh-cn编程
Python解释器:3.7.5 64bit (provided by Anaconda)api
各模块:皆为最新数组
(事情有所变化,暂时使用下面机房电脑的配置进行测试)数据结构
CPU:Intel(R) Xeon(R) Silver 4116 CPU @ 2.10GHz 2.10 GHzapp
内存:3.00 GB
硬盘:VMware Virtual disk SCSI Disk Service
操做系统:Windows 7 Service Pack 1 Ultimate 64bit zh-cn (powered by VMware Horizon View Client)
Python解释器:3.7.3 64bit (provided by Anaconda)
各模块:皆为最新
如下定义新建的视频规定为MP4格式、mp4v编码、1920*1080尺寸、60帧速率;定义新建的图片为JPG格式、1920*1080尺寸、RGB通道。
根据实际须要(实际上是我本身的须要),先暂定测试如下函数[1][2]:
1)建立视频
2)视频帧读取(视频很差作测试数据,故使用了手头上现成的。in.mp4参数:时长27秒,尺寸1920x1080,数据速率17073kbps,总比特率17331kbps,帧速率29fps,大小55.7MB)
3)视频帧写入[3] (PS:为何Opencv官方教程中没有这个函数...)
4)写入视频(后来发现这个应该相似于file.close(),只是一个释放文件对象的过程,并非真的在这个时候写入全部的数据。以前看见在release以前文件是空的应该是数据尚未从内存写入磁盘致使的)
5)建立图片 ( matrix & pillow object )
6)图片读取(opencv & pillow)(使用新建的图片,知足上面的定义,大小33kb)
7)图片数据结构转换
8)图片点操做(matrix & pillow object )
9)图片其余绘图操做(matrix & pillow object & opencv )
这里咱们测试画直线、画矩形、画圆(不包括matrix)、画椭圆操做(不包括matrix)、绘制文字(不包括matrix)。
注:pillow中默认绘制的图形都是实心的[4],而opencv要设置线宽为负值才是实心的[5]。
其中opencv的字体参数参考:[6]
10)图片其余操做
11)写入图片( Pillow & OpenCV)
这里的时间计算工具用一个类实现给定次数的循环和智能循环(自动控制循环次数)的功能,并能给出每次循环的函数返回值、循环次数、平均时间、最短期、最长时间、总共用时。
对于自动判断循环次数的算法参考了Python的timeit模块源码(autorange函数)[7]:
1 # -*- coding: utf-8 -*- 2 3 import time 4 import cv2 5 from PIL import Image, ImageDraw, ImageFont 6 import numpy as np 7 8 # Class 9 class FunctionTimer(object): 10 MAX_WAIT_SEC = 0.5 11 INF = 2147483647 12 SMART_LOOP = -1 13 14 def __init__(self, timer=None, count=None): 15 self._timer = timer if timer != None else time.perf_counter 16 self._count = count if count != None else 100 17 18 def _get_single_time(self, func, *args, **kwargs): 19 s = self._timer() 20 ret = func(*args, **kwargs) 21 f = self._timer() 22 return ret, f - s 23 24 def _get_repeat_time(self, number, func, *args, **kwargs): 25 time_min, time_max, time_sum = self.INF, 0, 0 26 for i in range(number): 27 ret, delta = self._get_single_time(func, *args, **kwargs) 28 time_min = min(time_min, delta) 29 time_max = max(time_max, delta) 30 time_sum += delta 31 return func, ret, number, time_sum / number, time_min, time_max, time_sum 32 33 def gettime(self, func, *args, **kwargs): 34 if self._count != self.SMART_LOOP: 35 return self._get_repeat_time(self._count, func, *args, **kwargs) 36 else: 37 # Arrange loop count automatically 38 # Refer to Lib/timeit.py 39 i = 1 40 while True: 41 for j in 1, 2, 5: 42 number = i * j 43 func, ret, number, time_ave, time_min, time_max, time_sum = self._get_repeat_time(number, func, *args, **kwargs) 44 if time_sum >= self.MAX_WAIT_SEC: 45 return func, ret, number, time_ave, time_min, time_max, time_sum 46 i *= 10 47 48 def better_print(self, params): 49 func, ret, count, ave, minn, maxn, sumn = params 50 print('========================================') 51 print(' Function name:') 52 print(' ' + func.__repr__()) 53 print('========================================') 54 print(' Function has the return content below:') 55 print(' ' + ret.__name__) 56 print('========================================') 57 print(' Summary of Function Timer:') 58 print(' Count of loops: {}'.format(count)) 59 print(' Average time of loops: {} (sec)'.format(ave)) 60 print(' Minimum of every loop time: {} (sec)'.format(minn)) 61 print(' Maximum of every loop time: {} (sec)'.format(maxn)) 62 print(' Total time of loops: {} (sec)'.format(sumn)) 63 print('========================================') 64 65 # Function 66 def testfunc(x=10000000): 67 for i in range(x): 68 pass 69 return i 70 71 # Main Function 72 timer = FunctionTimer()
测试结果(将整个文件做为模块以op为名字调用):
1 # opencv_pil_time.py 2 3 # -*- coding: utf-8 -*- 4 5 import time 6 import cv2 7 from PIL import Image, ImageDraw, ImageFont 8 import numpy as np 9 10 # Class 11 class FunctionTimer(object): 12 MAX_WAIT_SEC = 0.5 13 INF = 2147483647 14 SMART_LOOP = -1 15 16 def __init__(self, timer=None, count=None): 17 self._timer = timer if timer != None else time.perf_counter 18 self._count = count if count != None else 100 19 20 def _get_single_time(self, func, *args, **kwargs): 21 s = self._timer() 22 ret = func(*args, **kwargs) 23 f = self._timer() 24 return ret, f - s 25 26 def _get_repeat_time(self, number, func, *args, **kwargs): 27 time_min, time_max, time_sum = self.INF, 0, 0 28 for i in range(number): 29 ret, delta = self._get_single_time(func, *args, **kwargs) 30 time_min = min(time_min, delta) 31 time_max = max(time_max, delta) 32 time_sum += delta 33 return func, ret, number, time_sum / number, time_min, time_max, time_sum 34 35 def gettime(self, func, *args, **kwargs): 36 if self._count != self.SMART_LOOP: 37 return self._get_repeat_time(self._count, func, *args, **kwargs) 38 else: 39 # Arrange loop count automatically 40 # Refer to Lib/timeit.py 41 i = 1 42 while True: 43 for j in 1, 2, 5: 44 number = i * j 45 func, ret, number, time_ave, time_min, time_max, time_sum = self._get_repeat_time(number, func, *args, **kwargs) 46 if time_sum >= self.MAX_WAIT_SEC: 47 return func, ret, number, time_ave, time_min, time_max, time_sum 48 i *= 10 49 50 def better_print(self, params): 51 func, ret, count, ave, minn, maxn, sumn = params 52 print('========================================') 53 print(' Function name:') 54 print(' ' + func.__name__) 55 print('========================================') 56 print(' Function has the return content below:') 57 print(' ' + ret.__repr__()) 58 print('========================================') 59 print(' Summary of Function Timer:') 60 print(' Count of loops: {}'.format(count)) 61 print(' Average time of loops: {} (sec)'.format(ave)) 62 print(' Minimum of every loop time: {} (sec)'.format(minn)) 63 print(' Maximum of every loop time: {} (sec)'.format(maxn)) 64 print(' Total time of loops: {} (sec)'.format(sumn)) 65 print('========================================') 66 67 # Function 68 # Debug 69 def testfunc(x=10000000): 70 for i in range(x): 71 pass 72 return i 73 74 # Test Function 75 def task_1(): 76 vw = cv2.VideoWriter('out.mp4', cv2.VideoWriter_fourcc(*'mp4v'), 60, (1920, 1080)) 77 78 def task_2(): 79 cap = cv2.VideoCapture('in.mp4') 80 while cap.isOpened(): 81 ret, frame = cap.read() 82 if not ret: 83 break 84 cap.release() 85 86 def task_3(vw, frame): # Use a new blank video file when testing 87 vw.write(frame) 88 89 def task_4(vw): 90 vw.release() 91 92 def task_5_matrix(): 93 arr = np.zeros((1080, 1920, 3), dtype=np.uint8) 94 95 def task_5_pillow(): 96 img = Image.new('RGB', (1920, 1080)) 97 98 def task_6_opencv(): 99 arr = cv2.imread('in.jpg') 100 101 def task_6_pillow(): 102 img = Image.open('in.jpg') 103 104 def task_7_list(img): 105 arr1 = list(img.im) 106 107 def task_7_asarray(img): 108 arr2 = np.asarray(img) 109 110 def task_7_array(img): 111 arr3 = np.array(img) 112 113 def task_8_matrix(arr3): 114 arr3[0][0] = (255, 255, 255) 115 116 def task_8_pillow_putpixel(img): 117 img.putpixel((0, 0), (255, 255, 255)) 118 119 def task_8_pillow_point(draw): 120 draw.point((0, 0), (255, 255, 255)) 121 122 def task_9_line_matrix(arr3): 123 for x in range(100, 500): 124 arr3[100][x] = (255, 255, 255) 125 126 def task_9_line_pillow(draw): 127 draw.line((100, 100, 500, 100), (255, 255, 255)) 128 129 def task_9_line_opencv(arr): 130 cv2.line(arr, (100, 100), (500, 100), (255, 255, 255), 1) 131 132 def task_9_rectangle_matrix(arr3): 133 for x in range(100, 500): 134 for y in range(100, 500): 135 arr3[y][x] = (255, 255, 255) 136 137 def task_9_rectangle_pillow(draw): 138 draw.rectangle((100, 100, 500, 500), (255, 255, 255)) 139 140 def task_9_rectangle_opencv(arr): 141 cv2.rectangle(arr, (100, 100), (500, 500), (255, 255, 255), -1) 142 143 def task_9_circle_pillow_arc(draw): 144 draw.arc((100, 100, 500, 500), 0, 360, (255, 255, 255)) 145 146 def task_9_circle_pillow_ellipse(draw): 147 draw.ellipse((100, 100, 500, 500), (255, 255, 255)) 148 149 def task_9_circle_opencv_circle(arr): 150 cv2.circle(arr, (300, 300), 200, (255, 255, 255), -1) 151 152 def task_9_circle_opencv_ellipse(arr): 153 cv2.ellipse(arr, (300, 300), (200, 200), 0, 0, 360, (255, 255, 255), -1) 154 155 def task_9_ellipse_pillow(draw): 156 draw.ellipse((100, 100, 700, 500), (255, 255, 255)) 157 158 def task_9_ellipse_opencv(arr): 159 cv2.ellipse(arr, (400, 300), (300, 200), 0, 0, 360, (255, 255, 255), -1) 160 161 def task_9_text_pillow(draw, font): 162 draw.text((100, 100), 'Hello, world!', (255, 255, 255), font) 163 164 def task_9_text_opencv(arr, font): 165 cv2.putText(arr, 'Hello, world!', (100, 200), font, 2, (255, 255, 255), 1, cv2.LINE_AA) 166 167 def task_10(): 168 pass 169 170 def task_11_pillow(img): 171 img.save('out.jpg') 172 173 def task_11_opencv_imread(arr): 174 cv2.imwrite('out.jpg', arr) 175 176 def task_11_opencv_asarray(arr2): 177 cv2.imwrite('out.jpg', arr2) 178 179 def task_11_opencv_array(arr3): 180 cv2.imwrite('out.jpg', arr3) 181 182 # Main Function 183 if __name__ == '__main__': 184 timer = FunctionTimer() 185 # timer.better_print(timer.gettime(func, *args, **kwargs)) 186 timer.better_print(timer.gettime(task_1)) 187 vw = cv2.VideoWriter('out.mp4', cv2.VideoWriter_fourcc(*'mp4v'), 60, (1920, 1080)) 188 # timer.better_print(timer.gettime(task_2)) # task_2 takes up much time and we don't test it! 189 frame = np.zeros((1080, 1920, 3), dtype=np.uint8) 190 timer.better_print(timer.gettime(task_3, vw, frame)) 191 timer.better_print(timer.gettime(task_4, vw)) 192 timer.better_print(timer.gettime(task_5_matrix)) 193 timer.better_print(timer.gettime(task_5_pillow)) 194 timer.better_print(timer.gettime(task_6_opencv)) 195 arr = cv2.imread('in.jpg') 196 timer.better_print(timer.gettime(task_6_pillow)) 197 img = Image.new('RGB', (1920, 1080)) 198 timer.better_print(timer.gettime(task_7_list, img)) 199 timer.better_print(timer.gettime(task_7_asarray, img)) 200 timer.better_print(timer.gettime(task_7_array, img)) 201 arr2 = np.asarray(img) 202 arr3 = np.array(img) 203 timer.better_print(timer.gettime(task_8_matrix, arr3)) 204 timer.better_print(timer.gettime(task_8_pillow_putpixel, img)) 205 draw = ImageDraw.Draw(img) 206 timer.better_print(timer.gettime(task_8_pillow_point, draw)) 207 timer.better_print(timer.gettime(task_9_line_matrix, arr3)) 208 timer.better_print(timer.gettime(task_9_line_pillow, draw)) 209 timer.better_print(timer.gettime(task_9_line_opencv, arr)) 210 timer.better_print(timer.gettime(task_9_rectangle_matrix, arr3)) 211 timer.better_print(timer.gettime(task_9_rectangle_pillow, draw)) 212 timer.better_print(timer.gettime(task_9_rectangle_opencv, arr)) 213 timer.better_print(timer.gettime(task_9_circle_pillow_arc, draw)) 214 timer.better_print(timer.gettime(task_9_circle_pillow_ellipse, draw)) 215 timer.better_print(timer.gettime(task_9_circle_opencv_circle, arr)) 216 timer.better_print(timer.gettime(task_9_circle_opencv_ellipse, arr)) 217 timer.better_print(timer.gettime(task_9_ellipse_pillow, draw)) 218 timer.better_print(timer.gettime(task_9_ellipse_opencv, arr)) 219 font = ImageFont.truetype('simkai.ttf', 32) 220 timer.better_print(timer.gettime(task_9_text_pillow, draw, font)) 221 font = cv2.FONT_HERSHEY_SIMPLEX 222 timer.better_print(timer.gettime(task_9_text_opencv, arr, font)) 223 timer.better_print(timer.gettime(task_11_pillow, img)) 224 timer.better_print(timer.gettime(task_11_opencv_imread, arr)) 225 timer.better_print(timer.gettime(task_11_opencv_asarray, arr2)) 226 timer.better_print(timer.gettime(task_11_opencv_array, arr3))
在此我先停一下,各位能够猜猜哪一种方式更胜一筹。
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
flag
其中task_2(读取视频文件)占用时间过多,咱们不予循环测试,下面的结果栏中将给出单次运行的结果(取第一次)。
cmder.exe中运行结果:
(很奇怪为何循环次数都是100次,感受可能timer算法有问题)
时间单位:秒,精确度:3位有效数字,制做成表格(红字表示所在子操做名中平均时间最短的函数,如若平均时间最短按照时间排列顺序依次比较)(图片读取一栏的红字标错位置了,应该打在pillow的下面):
1)前四项因为没有对比就很少说了,不过感受opencv读取视频的速度确实有些慢(6.5MB/s,90.8frame/s)。固然写入数据也很慢(75.8frame/s),不过尺寸不一样,就不互相比较了。
2)建立图片操做numpy数组要比pillow的对象要快一些(也就两个数量级吧~)。
3)数据结构转换中numpy比list快几乎是显然的hhh,其中asarray要比array略快一点,大概是由于array深复制而asarray浅复制;固然asarray的结果是not writable的,估计是由于image对象存储的数组自己就是只读的吧。若是只是为了读取图片方便塞视频里就用asarray。
4)没想到图片点操做里面numpy的索引赋值居然比putpixel还要慢一点!真是大开眼界。。。果真pillow源码里面说“自带api要快一点”是真的。。。
5)图片读取、图片绘图绝大多数状况下pillow秒杀numpy和opencv,只有在写文字的时候opencv体现出比较大的效率优点,可是opencv的字体有不少限制,仍是弃置了。(我手头上有一套字模,仍是能够测试一下numpy写字速度的,不过估计仍是要慢一些,并且字模作起来也比较臃肿,就不试了~)
6)写图片仍是opencv要快一点点,固然asarray和array在多精确几个数字就是asarray快了,若是只有三位那就是array更快一点。
(待续)
这个项目我大概从一个月前就有想法了,最近一周一直在抽时间作,净时间估计都有十几个小时了。最后一天(11月16日)晚上我拖到12点,做业还没作完,困得要死,也就作了个大概--没有优化的部分,也没有表格,还由于事先没查好api返工了好几回。这件事让我深感我的的力量的薄弱 ,以及我本身水平的低下。
不过此次的项目让我掌握了多方面搜索数据(尤为是api)的能力,诸如找官方文档啊,看源码啊之类的,晦涩难懂的源代码和英文文档我也尽量啃掉了,也算是一大进步了吧。
而后就是项目的内容。本次的测试我尽量从本身能想到的角度给出足够多的实现方法来对比运行效率,孰优孰劣一会儿就清楚了。不过也要看状况,好比说给定的数据全是数组,你要是为了追求图像处理函数的效率而所有转成pil对象,也并非好的。除了时间效率的差距,咱们也能够看出PIL的图像处理能力果真仍是上等,opencv只是视频库附带一个简陋的图像处理能力,真正到解决图像问题时候仍是应该选择PIL。
固然,此次的实验也有不科学的地方,诸如没有控制好无关变量,甚至可能致使相反的结果。我不是专业搞cs得,并且我仍是高二生,实在无力全身心投入其中。实验方法带来的偏差以及内容的错漏,尚希见谅!
最后但愿各位能在这篇充满艰辛的博客中获得点什么。哪怕是一点处理编程项目时的教训而不是博客内容自己,我也心满意足了。
参考资料:
[1]Pillow (PIL Fork) 7.0.0.dev0 英文文档
[2]OpenCV Python Tutorials 翻译 OpenCV-Python Tutorials
[3]Python&OpenCV - 读写(read&write)视频(video) 详解 及 代码
[4]Python图像处理库PIL的ImageDraw模块介绍