Go语言之并发

时间 2019-11-13

标签语言并发繁體版

原文原文链接

Go语言直接支持内置支持并发。当一个函数建立为goroutine时,Go会将其视为一个独立的工做单元。这个单元会被调度到可用的逻辑处理器上执行。安全

Go语言运行时的调度器是一个复杂的软件,这个调度器在操做系统之上。操做系统的线程与语言运行时的逻辑处理器绑定,并在逻辑处理器上运行goroutine。并发

Go语言的并发同步逻辑来自一个叫作通讯顺讯进程(CSP)的范型。CSP是一种消息传递模型,经过在goroutine之间传递数据来传递消息，而不是经过对数据进行加锁来实现同步访问。这种数据的类型叫作通道(channel) 。函数

并发与并行

在操做系统中,一个应用程序就能够看做一个进程,而每一个进程至少包含一个线程。每一个进程的初始线程被称为主线程。post

操做系统会在物理处理器(CPU)上调度线程来运行,而Go语言会在逻辑处理器来调度goroutine来运行。1.5版本之上,Go语言的运行时默认会为每一个可用的物理处理器分配一个逻辑处理器。1.5以前,默认给整个应用程序只分配一个逻辑处理器。性能

以下图,在运行时把goroutine调度到逻辑处理器上运行，逻辑处理器绑定到惟一的操做系统线程。ui

当goroutine执行了一个阻塞的系统调用(就是一个非纯CPU的任务)时,调度器会将这个线程与处理器分离,并建立一个新线程来运行这个处理器上提供的服务。atom

语言运行默认限制每一个程序最多建立10000个线程。spa

注意并发≠并行！并行须要至少2个逻辑处理器。操作系统

goroutine

以并发的形式分别显示大写和小写的英文字母线程

  1: package main
  2: 
  3: import (
  4: 	"fmt"
  5: 	"runtime"
  6: 	"sync"
  7: )
  8: 
  9: func main() {
 10: 	// 分配一个逻辑处理器给调度器使用
 11: 	runtime.GOMAXPROCS(1)
 12: 	// wg用来等待程序完成
 13: 	var wg sync.WaitGroup
 14: 	// 计数器加2，表示要等待两个goroutine
 15: 	wg.Add(2)
 16: 	fmt.Println("Start!")
 17: 	// 声明一个匿名函数,并建立一个goroutime
 18: 	go func() {
 19: 		// 通知main函数工做已经完成
 20: 		defer wg.Done()
 21: 		// 显示字母表3次
 22: 		for count:=0; count<3;count++ {
 23: 			for char:='a';char<'a'+26;char++ {
 24: 				fmt.Printf("%c ", char)
 25: 			}
 26: 		}
 27: 	}()
 28: 	// 同上
 29: 	go func() {
 30: 		// 通知main函数工做已经完成
 31: 		defer wg.Done()
 32: 		// 显示字母表3次
 33: 		for count:=0; count<3;count++ {
 34: 			for char:='A';char<'A'+26;char++ {
 35: 				fmt.Printf("%c ", char)
 36: 			}
 37: 		}
 38: 	}()
 39: 	// 等待goroutine结束
 40: 	fmt.Println("Waiting!")
 41: 	wg.Wait()
 42: 	fmt.Println("\nFinish!")
 43: }

运行结果后，能够看到先输出的是全部的大写字母,最后才是小写字母。是由于第一个goroutine完成全部显示须要花时间过短了，以致于在调度器切换到第二个goroutine以前，就完成了全部任务。

调度器为了防止某个goroutine长时间占用逻辑处理器，会中止当前正运行的goroutine，运行其余可运行的goroutine运行的机会。

建立两个相同的长时间才能完成其工做的goroutine就能够看到，好比说显示5000之内的素数值。

代码结构以下

  1: go printPrime("A")
  2: go printPrime("B")
  3: 
  4: func printPrime(prefix string) {
  5: 	...
  6: }

结果相似

  1: B:2
  2: B:3
  3: ...
  4: B:4591
  5: A:3
  6: A:5
  7: ...
  8: A:4561
  9: A:4567
 10: B:4603
 11: B:4621
 12: ...
 13: // Completed B
 14: A:4457
 15: ...
 16: // Completed A

如何修改逻辑处理器的数量

  1: runtime.GOMAXPROCS(runtime.NUMCPU())

稍微改动下上面的代码，结果就会大不一样

  1: package main
  2: 
  3: import (
  4: "fmt"
  5: "runtime"
  6: "sync"
  7: )
  8: 
  9: func main() {
 10: 	// 分配两个逻辑处理器给调度器使用
 11: 	runtime.GOMAXPROCS(2)
 12: 	// wg用来等待程序完成
 13: 	var wg sync.WaitGroup
 14: 	// 计数器加2，表示要等待两个goroutine
 15: 	wg.Add(2)
 16: 	fmt.Println("Start!")
 17: 	// 声明一个匿名函数,并建立一个goroutime
 18: 	go func() {
 19: 		// 通知main函数工做已经完成
 20: 		defer wg.Done()
 21: 		// 显示字母表3次
 22: 		for count:=0; count<10;count++ {
 23: 			for char:='a';char<'a'+26;char++ {
 24: 				fmt.Printf("%c ", char)
 25: 			}
 26: 		}
 27: 	}()
 28: 	// 同上
 29: 	go func() {
 30: 		// 通知main函数工做已经完成
 31: 		defer wg.Done()
 32: 		// 显示字母表3次
 33: 		for count:=0; count<10;count++ {
 34: 			for char:='A';char<'A'+26;char++ {
 35: 				fmt.Printf("%c ", char)
 36: 			}
 37: 		}
 38: 	}()
 39: 	// 等待goroutine结束
 40: 	fmt.Println("Waiting!")
 41: 	wg.Wait()
 42: 	fmt.Println("\nFinish!")
 43: }

结果相似下面的(根据CPU单核的性能结果可能结果稍微不同)

  1: Start!
  2: Waiting!
  3: a b c d e f g h i j k l m n o A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g
  4: h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z
  5: a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s t u v w x y z a b c d e f g h i j k l m n o p q r s
  6: t u v w x y z M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X
  7: Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z A B C D E F G H I J K L M N O P Q
  8: R S T U V W X Y Z A B C D E F G H I J K L M N O P Q R S T U V W X Y Z
  9: Finish!

能够发现,goroutine是并行运行的。

只有在有多个逻辑处理器且能够同时让每一个goroutine运行在一个可用的物理处理器上的时候，goroutine才会并行运行。

竞争状态

若是两个或者多个goroutine在没有互相同步的状况下，访问某个共享的资源，而且试图同时读和写这个资源,就处于相互竞争的状态。

在竞争状态，每一个goroutine都会覆盖另外一个goroutine的工做。这种覆盖发生在goroutine发生切换的时候。

每一个goroutien都会创造本身的共享变量副本。当切换到领另外一个goroutine时，若是这个变量的值在上一个goroutine发生改变，这个goroutine再次运行时，虽然变量的值改变了，可是因为这个goroutine没有更新本身的那个副本的值，而是继续使用，而且将其存回变量的值，从而覆盖上一个goroutine 的工做。

go build –race用来竞争检测器标志来编译程序

锁住共享资源

原子函数

原子函数可以以底层的枷锁机制来同步访问整型变量和指针。省略部分代码以下：

  1: var counter int64
  2: go incCounter(1)
  3: go incCounter(2)
  4: func incCounter(id int) {
  5: 	for count:=0;count<2;count++{
  6: 		//安全地对counter加1
  7: 		atomic.AddInt64(&counter, 1)
  8: 		//当前goroutine从线程退出，并放回队列
  9: 		runtime.Gosched()
 10: 	}
 11: }

使用atmoic包的AddInt64函数。这些goroutine都会自动根据所引用的变量作同步处理。

另外两个原子函数是LoadInt64和StoreInt64。用法以下：

  1: // shutdown是通知正在执行的goroutine中止工做的标志
  2: var shutdown int64
  3: var wg sync.WaitGroup
  4: // 该中止工做了,安全地设置shutdown标志
  5: atomic.StoreInt64(&shutdown, 1)
  6: // 等待goroutine结束
  7: wg.Wait()
  8: // 检测是否中止工做，若是shutdown==1那么goroutine就会终止
  9: if atomic.LoadInt64(&shutdown) == 1 {
 10: 	break
 11: }
 12:

互斥锁

另外一种同步访问共享资源的方式是互斥锁。主要代码以下：

  1: var (
  2: 	// counter是全部goroutine都要增长其值的变量
  3: 	counter int
  4: 	wg sync.WaitGroup
  5: 	// mutex用来定义一段代码临界区
  6: 	mutex sync.Mutex
  7: )
  8: func main...
  9: // 业务代码
 10: func incCounter(id int) {
 11: 	defer wg.Done()
 12: 	for i:=0;i<2;i++ {
 13: 		//同一时期只容许一个goroutine进入
 14: 		mutex.Lock()
 15: 		//大括号并非必须的
 16: 		{
 17: 			//捕获counter的值
 18: 			value := counter
 19: 			//当前goroutine从线程退出,并返回到队列
 20: 			runtime.Gosched()
 21: 			//增长本地value变量的值
 22: 			value++
 23: 			//将该值保存回counter
 24: 			counter = value
 25: 		}
 26: 		// 释放锁,容许其余正在等待的goroutine
 27: 		mutex.Unlock()
 28: 	}
 29: }

通道

通道在goroutine之间架起了一个管道,并提供了确保同步交换数据的机制。声明通道时，须要指定将要被共享的数据的类型。

能够经过通道共享内置类型，命名类型，结构类型和引用类型的值或者指针。

go语言须要使用make来建立一个通道，chan是关键字：

  1: // 无缓冲的整型通道
  2: unbuffered := make(chan int)
  3: // 有缓冲的字符串通道
  4: buffered := make(chan string, 10)

向通道发送值

  1: buffered := make(chan string, 10)
  2: // 经过通道发送一个字符串
  3: buffered <- "Gopher"
  4: // 从通道接收一个字符串
  5: value := <-buffered

无缓冲的通道是指在接收前没有能力保存任何值的通道。发送goroutine和接收goroutine同时准备好，才能完成发送和接收操做。若是没有准备好,通道会致使goroutine阻塞等待。因此无缓冲通道保证了goroutine之间同一时间进行数据交换。

  1: // 四个goroutine间的接力比赛
  2: package main
  3: 
  4: import (
  5: 	"fmt"
  6: 	"sync"
  7: 	"time"
  8: )
  9: 
 10: var wg sync.WaitGroup
 11: 
 12: func main()  {
 13: 	//建立一个无缓冲的通道
 14: 	baton := make(chan int)
 15: 	wg.Add(1)
 16: 	// 第一步跑步者持有接力棒
 17: 	go Runner(baton)
 18: 	// 开始比赛
 19: 	baton <- 1
 20: 	// 等待比赛结束
 21: 	wg.Wait()
 22: }
 23: 
 24: // Ruuner模拟接力比赛中的一位跑步者
 25: func Runner(baton chan int) {
 26: 	var newRunner int
 27: 	// 等待接力棒
 28: 	runner := <-baton
 29: 	// 开始跑步
 30: 	fmt.Printf("运动员%d带着Baton跑\n", runner)
 31: 	// 建立下一步跑步者
 32: 	if runner != 4{
 33: 		newRunner = runner + 1
 34: 		fmt.Printf("运动员%d上线\n", newRunner)
 35: 		go Runner(baton)
 36: 	}
 37: 	// 围绕跑到跑
 38: 	time.Sleep(100 * time.Millisecond)
 39: 	// 比赛结束了吗？
 40: 	if runner == 4{
 41: 		fmt.Printf("运动员%d完成,比赛结束\n", runner)
 42: 		wg.Done()
 43: 		return
 44: 	}
 45: 	// 将接力棒交给下一位跑步者
 46: 	fmt.Printf("运动员%d与运动员%d交换\n", runner, newRunner)
 47: 	baton <- newRunner
 48: }

结果：

  1: 运动员1带着Baton跑
  2: 运动员2上线
  3: 运动员1与运动员2交换
  4: 运动员2带着Baton跑
  5: 运动员3上线
  6: 运动员2与运动员3交换
  7: 运动员3带着Baton跑
  8: 运动员4上线
  9: 运动员3与运动员4交换
 10: 运动员4带着Baton跑
 11: 运动员4完成,比赛结束

有缓冲的通道则能在接收前能存储一个或者多个值的通道。这种类型的通道并不强制要求goroutine之间必须同时完成发送和接收。只有在通道没有可用缓冲区或者没有要接收的值时,发送或者接收才会阻塞。

  1: package main
  2: 
  3: import (
  4: 	"fmt"
  5: 	"math/rand"
  6: 	"sync"
  7: 	"time"
  8: )
  9: 
 10: const (
 11: 	// goroutine的数量
 12: 	numberGoroutines = 4
 13: 	// 工做的数量
 14: 	taskLoad = 10
 15: )
 16: 
 17: var wg sync.WaitGroup
 18: 
 19: // 初始化随机数种子
 20: func init() {
 21: 	rand.Seed(time.Now().Unix())
 22: }
 23: func main() {
 24: 	// 建立一个有缓冲的通道来管理工做
 25: 	tasks := make(chan string, taskLoad)
 26: 	wg.Add(numberGoroutines)
 27: 	// 增长一组要完成的工做
 28: 	for post:=1;post<taskLoad;post++ {
 29: 		tasks <- fmt.Sprintf("Task:%d", post)
 30: 	}
 31: 	// 启动goroutine来处理工做
 32: 	for i:=1;i<numberGoroutines+1;i++ {
 33: 		go worker(tasks, i)
 34: 	}
 35: 	// 全部工做处理完时关闭通道
 36: 	close(tasks)
 37: 
 38: 	wg.Wait()
 39: 	fmt.Printf("all finished!")
 40: 
 41: }
 42: 
 43: func worker(tasks chan string, worker_id int) {
 44: 	defer wg.Done()
 45: 
 46: 	for {
 47: 		//等待分配工做
 48: 		task, ok := <-tasks
 49: 		if !ok {
 50: 			//通道变空
 51: 			fmt.Printf("Worker%d shut down\n", worker_id)
 52: 			return
 53: 		}
 54: 		// 开始工做
 55: 		fmt.Printf("Worker%d start %s\n", worker_id, task)
 56: 
 57: 		// 随机等待一段时间
 58: 		sleep := rand.Int63n(100)
 59: 		time.Sleep(time.Duration(sleep)*time.Millisecond)
 60: 		// 显示完成了工做
 61: 		fmt.Printf("Worker%d Completed %s\n", worker_id, task)
 62: 	}
 63: }

输出结果：

  1: Worker4 start Task:1
  2: Worker1 start Task:2
  3: Worker2 start Task:3
  4: Worker3 start Task:4
  5: Worker3 Completed Task:4
  6: Worker3 start Task:5
  7: Worker4 Completed Task:1
  8: Worker4 start Task:6
  9: Worker2 Completed Task:3
 10: Worker2 start Task:7
 11: Worker3 Completed Task:5
 12: Worker3 start Task:8
 13: Worker2 Completed Task:7
 14: Worker2 start Task:9
 15: Worker3 Completed Task:8
 16: Worker3 shut down
 17: Worker4 Completed Task:6
 18: Worker4 shut down
 19: Worker1 Completed Task:2
 20: Worker1 shut down
 21: Worker2 Completed Task:9
 22: Worker2 shut down
 23: all finished!

因为程序和Go语言的调度器有随机的成分，结果每次都会不同。不过总流程不会大变。

当通道关闭后，goroutine依旧从通道里的缓冲区获取数据，可是不能再向通道里发送数据。从一个已经关闭且没有数据的通道里获取数据，总会马上返回，兵返回一个通道类型的零值。

关于实际工程里的并发模式,下一篇再讲。