numba,让python速度提高百倍

python因为它动态解释性语言的特性,跑起代码来相比java、c++要慢不少,尤为在作科学计算的时候,十亿百亿级别的运算,让python的这种劣势更加凸显。html

办法永远比困难多,numba就是解决python慢的一大利器,可让python的运行速度提高上百倍!java


什么是numba?

numba是一款能够将python函数编译为机器代码的JIT编译器,通过numba编译的python代码(仅限数组运算),其运行速度能够接近C或FORTRAN语言。python

python之因此慢,是由于它是靠CPython编译的,numba的做用是给python换一种编译器。c++

                             python、c、numba三种编译器速度对比数据库

 

使用numba很是简单,只须要将numba装饰器应用到python函数中,无需改动本来的python代码,numba会自动完成剩余的工做。数组

import numpy as np
import numba
from numba import jit

@jit(nopython=True) # jit,numba装饰器中的一种
def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i]) 
    return a + trace

  

以上代码是一个python函数,用以计算numpy数组各个数值的双曲正切值,咱们使用了numba装饰器,它将这个python函数编译为等效的机器代码,能够大大减小运行时间。函数

 

numba适合科学计算

numpy是为面向numpy数组的计算任务而设计的。oop

在面向数组的计算任务中,数据并行性对于像GPU这样的加速器是很天然的。Numba了解NumPy数组类型,并使用它们生成高效的编译代码,用于在GPU或多核CPU上执行。特殊装饰器还能够建立函数,像numpy函数那样在numpy数组上广播。性能

什么状况下使用numba呢?学习

  • 使用numpy数组作大量科学计算时
  • 使用for循环时

 

学习使用numba

第一步:导入numpy、numba及其编译器

import numpy as np
import numba 
from numba import jit

 

第二步:传入numba装饰器jit,编写函数

# 传入jit,numba装饰器中的一种
@jit(nopython=True) 
def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i])  # numba喜欢numpy函数
    return a + trace # numba喜欢numpy广播

  nopython = True选项要求彻底编译该函数(以便彻底删除Python解释器调用),不然会引起异常。这些异常一般表示函数中须要修改的位置,以实现优于Python的性能。强烈建议您始终使用nopython = True。

 
第三步:给函数传递实参
# 由于函数要求传入的参数是nunpy数组
x = np.arange(100).reshape(10, 10) 
# 执行函数
go_fast(x)

  

第四步:经numba加速的函数执行时间

% timeit go_fast(x)
输出:3.63 µs ± 156 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

 

第五步:不经numba加速的函数执行时间

def go_fast(a): # 首次调用时,函数被编译为机器代码
    trace = 0
    # 假设输入变量是numpy数组
    for i in range(a.shape[0]):   # Numba 擅长处理循环
        trace += np.tanh(a[i, i])  # numba喜欢numpy函数
    return a + trace # numba喜欢numpy广播

x = np.arange(100).reshape(10, 10) 
%timeit go_fast(x)

  输出:136 µs ± 1.09 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

 

结论:

在numba加速下,代码执行时间为3.63微秒/循环。不通过numba加速,代码执行时间为136微秒/循环,二者相比,前者快了40倍。

 

numba让python飞起来

前面已经对比了numba使用先后,python代码速度提高了40倍,但这还不是最快的。

此次,咱们不使用numpy数组,仅用for循环,看看nunba对for循环到底有多钟爱!

 

# 不使用numba的状况
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t())
输出:408 µs ± 9.73 µs per loop (mean ± std. dev. of 7 runs, 1000 loops each)
# 使用numba的状况
@jit(nopython=True) 
def t():
    x = 0
    for i in np.arange(5000):
        x += i
    return x
%timeit(t())
输出:1.57 µs ± 53.8 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

 

使用numba先后分别是408微秒/循环、1.57微秒/循环,速度整整提高了200多倍!

 

结语

numba对python代码运行速度有巨大的提高,这极大的促进了大数据时代的python数据分析能力,对数据科学工做者来讲,这真是一个lucky tool !

固然numba不会对numpy和for循环之外的python代码有很大帮助,你不要期望numba能够帮你加快从数据库取数,这点它真的作不到哈。

 


若是你们想要学习更多的python数据分析知识,请关注个人公众号:pydatas

回复:数据分析,可领取《利用python进行数据分析 第二版》电子书

 

原文出处:https://www.cnblogs.com/zhuwjwh/p/11401215.html

相关文章
相关标签/搜索