Matlab的parfor并行编程

Matlab的parfor并行编程

• 一般消耗最多计算资源的程序每每是循环。

  把循环并行化。或者优化循环体中的代码是最常常使用的加快程序执行速度的思路。

• Matlab提供了parforkeyword，可以很是方便的在多核机器或集群上实现并行计算。

parforkeyword的使用

• 由forkeyword引导的循环一般为串行运行。假设改成parfor则可以由多个worker以并行方式运行。
• parfor可以将n次循环分解为独立不相关的m部分，而后将各部分分别交给一个worker运行。
• 循环运行的结果应该与n次循环运行的顺序无关。

parfor中的变量类型

简约变量

• 通常parfor中各次循环相应的运算应该相互独立，但简约操做可以在屡次循环内同一时候对一个变量操做。这样的变量称为简约变量。

  比例如如下方代码中a就是简约变量。

  a = 0;
  for i = 1:1000
    a = a+i;
  end

• 简约操做包含+ - * .* & | [,] [;] {,} {;} min max union intersect。
• 同一个parfor循环对简约变量的操做必须一致。即必须是同一种简约操做符。而且与操做符的相对位置也必须一致。

• 简约变量赋值表达式应该知足结合律和交换律。

  * [] {}底层有特殊处理保证结果的正确性。

切片变量

• parfor中可能需要读取或写入parfor以外的矩阵，读取写入位置与循环变量相关。这样就需要向worker传输大量的数据。

• 矩阵假设被Matlab识别为切片变量，则数据可以分段传输到各worker，提升传输效率。

• 切片变量矩阵的大小是不可在parfor中改变的。且为了保证Matlab识别正确。每次循环中仅仅能读取由同一个索引值索引的切片。如a[i] a[i+1]同一时候出现则a不被识别为切片变量。

循环变量

• 如上例中的i，表示当前循环的id。

广播变量

• 在parfor以前赋值，在parfor内仅仅进行读取操做。

暂时变量

• 做用域局限于parfor内。parfor结束后不存在。

  不影响parfor以前声明的同名变量。

各类变量区分的样例

• 下例中，parfor中的tmp是暂时变量，parfor结束后tmp的值依旧是5，不受暂时变量的影响。
• broadcast是广播变量。每次循环中的值不变。
• redued是简约变量。Matlab对其的值将分段由各worker计算后送回主进程处理。
• sliced为切片变量。传输数据有优化提高。
• i为循环变量。

  tmp = 5;
  broadcast = 1;
  reduced = 0;
  sliced = ones(1, 10);
  parfor i = 1:10
    tmp = i;
    reduced = reduced + i + broadcast;
    sliced(i) = sliced(i) * i;
  end

worker配置

• 在执行程序以前。需要配置worker。不然如前文所说，parfor循环将以普通for循环的形式执行，没法并行。

单机配置

• 使用matlabpool命令可以开启关闭本机的并行计算池。
• matlabpool n命令可以打开n个worker。
• matlabpool open configname依照指定配置打开，默认配置为local。

• 程序执行结束后，应该使用matlabpool close关闭worker。
• 配置项的改动可以经过Parallel -> Manage Cluster Profile完毕。

• n的选择：假设有c个cpu核心，一般可以设置为c。假设是远程server，为防止server响应卡顿，可以设置为c-1。

  对于计算密集型程序，超线程带来的性能提高差点儿为0，可以设置为核心数，而不是线程数。

注意事项

• 循环次数n最好能整除以worker个数m，不然部分worker会分配较多的循环，形成一部分worker闲置一段时间，减小了并行性。
• 并行执行时各个worker之间会进行通讯。要注意大量传输数据带来的性能降低。

  尤为对于广播变量。假设较大可尝试变为切片变量。

　　
　　

转载请注明做者：Focustc，博客地址为 http://blog.csdn.net/caozhk。原文连接为 点我