golang并发

时间  2020-08-22
标签 golang 并发 栏目 Go 繁體版
原文   原文链接

1.goroutine

goroutine是Go并行设计的核心。goroutine说到底其实就是线程，可是它比线程更小，十几个goroutine可能体如今底层就是五六个线程，Go语言内部帮你实现了这些goroutine之间的内存共享。执行goroutine只需极少的栈内存(大概是4~5KB)，固然会根据相应的数据伸缩。也正由于如此，可同时运行成千上万个并发任务。goroutine比thread更易用、更高效、更轻便。web

goroutine是经过Go的runtime管理的一个线程管理器。goroutine经过go关键字实现了，其实就是一个普通的函数。shell

go hello(a, b, c)

经过关键字go就启动了一个goroutine。咱们来看一个例子编程

package main

import (
    "fmt"
    "runtime"
)

func say(s string) {
    for i := 0; i < 5; i++ {
        runtime.Gosched()
        fmt.Println(s)
    }
}

func main() {
    go say("world") //开一个新的Goroutines执行
    say("hello") //当前Goroutines执行
}

// 以上程序执行后将输出：
// hello
// world
// hello
// world
// hello
// world
// hello
// world
// hello

咱们能够看到go关键字很方便的就实现了并发编程。 上面的多个goroutine运行在同一个进程里面，共享内存数据，不过设计上咱们要遵循：不要经过共享来通讯，而要经过通讯来共享。缓存

1.1 goroutine的调度机制

Go runtime的调度器：
在了解Go的运行时的scheduler以前，须要先了解为何须要它，由于咱们可能会想，OS内核不是已经有一个线程scheduler了嘛？
熟悉POSIX API的人都知道，POSIX的方案在很大程度上是对Unix process进场模型的一个逻辑描述和扩展，二者有不少类似的地方。 Thread有本身的信号掩码，CPU affinity等。可是不少特征对于Go程序来讲都是累赘。 尤为是context上下文切换的耗时。另外一个缘由是Go的垃圾回收须要全部的goroutine中止，使得内存在一个一致的状态。垃圾回收的时间点是不肯定的，若是依靠OS自身的scheduler来调度，那么会有大量的线程须要中止工做。并发

单独的开发一个GO得调度器，能够是其知道在何时内存状态是一致的，也就是说，当开始垃圾回收时，运行时只须要为当时正在CPU核上运行的那个线程等待便可，而不是等待全部的线程。函数

用户空间线程和内核空间线程之间的映射关系有：N:1,1:1和M:N
N:1是说，多个（N）用户线程始终在一个内核线程上跑，context上下文切换确实很快，可是没法真正的利用多核。
1：1是说，一个用户线程就只在一个内核线程上跑，这时能够利用多核，可是上下文switch很慢。
M:N是说， 多个goroutine在多个内核线程上跑，这个看似能够集齐上面二者的优点，可是无疑增长了调度的难度。工具

imgimg

Go的调度器内部有三个重要的结构：M，P，S
M:表明真正的内核OS线程，和POSIX里的thread差很少，真正干活的人
G:表明一个goroutine，它有本身的栈，instruction pointer和其余信息（正在等待的channel等等），用于调度。
P:表明调度的上下文，能够把它看作一个局部的调度器，使go代码在一个线程上跑，它是实现从N:1到N:M映射的关键。测试

imgimg

图中看，有2个物理线程M，每个M都拥有一个context（P），每个也都有一个正在运行的goroutine。
P的数量能够经过GOMAXPROCS()来设置，它其实也就表明了真正的并发度，即有多少个goroutine能够同时运行。
图中灰色的那些goroutine并无运行，而是出于ready的就绪态，正在等待被调度。P维护着这个队列（称之为runqueue），
Go语言里，启动一个goroutine很容易：go function 就行，因此每有一个go语句被执行，runqueue队列就在其末尾加入一个
goroutine，在下一个调度点，就从runqueue中取出（如何决定取哪一个goroutine？）一个goroutine执行。ui

为什么要维护多个上下文P？由于当一个OS线程被阻塞时，P能够转而投奔另外一个OS线程！
图中看到，当一个OS线程M0陷入阻塞时，P转而在OS线程M1上运行。调度器保证有足够的线程来运行因此的context P。线程

imgimg

图中的M1多是被建立，或者从线程缓存中取出。

当MO返回时，它必须尝试取得一个context P来运行goroutine，通常状况下，它会从其余的OS线程那里steal偷一个context过来，
若是没有偷到的话，它就把goroutine放在一个global runqueue里，而后本身就去睡大觉了（放入线程缓存里）。Contexts们也会周期性的检查global runqueue，不然global runqueue上的goroutine永远没法执行。

imgimg

另外一种状况是P所分配的任务G很快就执行完了（分配不均），这就致使了一个上下文P闲着没事儿干而系统却任然忙碌。可是若是global runqueue没有任务G了，那么P就不得不从其余的上下文P那里拿一些G来执行。通常来讲，若是上下文P从其余的上下文P那里要偷一个任务的话，通常就‘偷’run queue的一半，这就确保了每一个OS线程都能充分的使用。

2.channels

goroutine运行在相同的地址空间，所以访问共享内存必须作好同步。那么goroutine之间如何进行数据的通讯呢，Go提供了一个很好的通讯机制channel。channel能够与Unix shell 中的双向管道作类比：能够经过它发送或者接收值。这些值只能是特定的类型：channel类型。定义一个channel时，也须要定义发送到channel的值的类型。注意，必须使用make 建立channel：

ci := make(chan int)
cs := make(chan string)
cf := make(chan interface{})

channel经过操做符<-来接收和发送数据

ch <- v    // 发送v到channel ch.
v := <-ch  // 从ch中接收数据，并赋值给v

咱们把这些应用到咱们的例子中来：

package main

import "fmt"

func sum(a []int, c chan int) {
    total := 0
    for _, v := range a {
        total += v
    }
    c <- total  // send total to c
}

func main() {
    a := []int{7, 2, 8, -9, 4, 0}

    c := make(chan int)
    go sum(a[:len(a)/2], c)
    go sum(a[len(a)/2:], c)
    x, y := <-c, <-c  // receive from c

    fmt.Println(x, y, x + y)
}

默认状况下，channel接收和发送数据都是阻塞的，除非另外一端已经准备好，这样就使得Goroutines同步变的更加的简单，而不须要显式的lock。所谓阻塞，也就是若是读取（value := <-ch）它将会被阻塞，直到有数据接收。其次，任何发送（ch<-5）将会被阻塞，直到数据被读出。无缓冲channel是在多个goroutine之间同步很棒的工具。

2.1Buffered Channels

上面咱们介绍了默认的非缓存类型的channel，不过Go也容许指定channel的缓冲大小，很简单，就是channel能够存储多少元素。ch:= make(chan bool, 4)，建立了能够存储4个元素的bool 型channel。在这个channel 中，前4个元素能够无阻塞的写入。当写入第5个元素时，代码将会阻塞，直到其余goroutine从channel 中读取一些元素，腾出空间。

ch := make(chan type, value)

/*
value == 0 ! 无缓冲（阻塞）
value > 0 ! 缓冲（非阻塞，直到value 个元素）
*/

咱们看一下下面这个例子，你能够在本身本机测试一下，修改相应的value值

package main

import "fmt"

func main() {
    c := make(chan int, 2)//修改2为1就报错，修改2为3能够正常运行
    c <- 1
    c <- 2
    fmt.Println(<-c)
    fmt.Println(<-c)
}
    //修改成1报以下的错误:
    //fatal error: all goroutines are asleep - deadlock!

2.2Range和Close

上面这个例子中，咱们须要读取两次c，这样不是很方便，Go考虑到了这一点，因此也能够经过range，像操做slice或者map同样操做缓存类型的channel，请看下面的例子

package main

import (
    "fmt"
)

func fibonacci(n int, c chan int) {
    x, y := 1, 1
    for i := 0; i < n; i++ {
        c <- x
        x, y = y, x + y
    }
    close(c)
}

func main() {
    c := make(chan int, 10)
    go fibonacci(cap(c), c)
    for i := range c {
        fmt.Println(i)
    }
}

for i := range c可以不断的读取channel里面的数据，直到该channel被显式的关闭。上面代码咱们看到能够显式的关闭channel，生产者经过内置函数close关闭channel。关闭channel以后就没法再发送任何数据了，在消费方能够经过语法v, ok := <-ch测试channel是否被关闭。若是ok返回false，那么说明channel已经没有任何数据而且已经被关闭。

记住应该在生产者的地方关闭channel，而不是消费的地方去关闭它，这样容易引发panic

另外记住一点的就是channel不像文件之类的，不须要常常去关闭，只有当你确实没有任何发送数据了，或者你想显式的结束range循环之类的

2.3Select

咱们上面介绍的都是只有一个channel的状况，那么若是存在多个channel的时候，咱们该如何操做呢，Go里面提供了一个关键字select，经过select能够监听channel上的数据流动。

select默认是阻塞的，只有当监听的channel中有发送或接收能够进行时才会运行，当多个channel都准备好的时候，select是随机的选择一个执行的。

package main

import "fmt"

func fibonacci(c, quit chan int) {
    x, y := 1, 1
    for {
        select {
        case c <- x:
            x, y = y, x + y
        case <-quit:
            fmt.Println("quit")
            return
        }
    }
}

func main() {
    c := make(chan int)
    quit := make(chan int)
    go func() {
        for i := 0; i < 10; i++ {
            fmt.Println(<-c)
        }
        quit <- 0
    }()
    fibonacci(c, quit)
}

在select里面还有default语法，select其实就是相似switch的功能，default就是当监听的channel都没有准备好的时候，默认执行的（select再也不阻塞等待channel）。

select {
case i := <-c:
    // use i
default:
    // 当c阻塞的时候执行这里
}

2.4超时

有时候会出现goroutine阻塞的状况，那么咱们如何避免整个程序进入阻塞的状况呢？咱们能够利用select来设置超时，经过以下的方式实现：

func main() {
    c := make(chan int)
    o := make(chan bool)
    go func() {
        for {
            select {
                case v := <- c:
                    println(v)
                case <- time.After(5 * time.Second):
                    println("timeout")
                    o <- true
                    break
            }
        }
    }()
    <- o
}

2.5runtime goroutine

runtime包中有几个处理goroutine的函数：

  • Goexit

    退出当前执行的goroutine，可是defer函数还会继续调用

  • Gosched

    让出当前goroutine的执行权限，调度器安排其余等待的任务运行，并在下次某个时候从该位置恢复执行。

  • NumCPU

    返回 CPU 核数量

  • NumGoroutine

    返回正在执行和排队的任务总数

  • GOMAXPROCS

    用来设置能够并行计算的CPU核数的最大值，并返回以前的值。

参考文章:

​

相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程