Linux进程间通讯(四) - 共享内存

时间  2019-11-19
标签 linux 进程 通讯 共享 内存 栏目 Linux 繁體版
原文   原文链接

共享内存的优点

采用共享内存通讯的一个显而易见的好处是效率高，由于进程能够直接读写内存，而不须要任何数据的拷贝。对于像管道和消息队列等通讯方式，则须要在内核和用户空间进行四次的数据拷贝，而共享内存则只拷贝两次数据：一次从输入文件到共享内存区，另外一次从共享内存区到输出文件。实际上，进程之间在共享内存时，并不老是读写少许数据后就解除映射，有新的通讯时，再从新创建共享内存区域。而是保持共享区域，直到通讯完毕为止，这样，数据内容一直保存在共享内存中，并无写回文件。共享内存中的内容每每是在解除映射时才写回文件的。所以，采用共享内存的通讯方式效率是很是高的。node

图1：POSIX消息队列linux

clip_image002

图2：共享内存数组

clip_image004

Linux的2.6.x内核支持多种共享内存方式，如mmap()系统调用，Posix共享内存，以及System V共享内存。本文对3种共享内存形式都将进行介绍。数据结构

mmap调用

mmap()系统调用使得进程之间经过映射同一个普通文件实现共享内存。普通文件被映射到进程地址空间后，进程能够像访问普通内存同样对文件进行访问，没必要再调用read()，write（）等操做。ide

注：实际上，mmap()系统调用并非彻底为了用于共享内存而设计的。它自己提供了不一样于通常对普通文件的访问方式，进程能够像读写内存同样对普通文件的操做。而Posix或System V的共享内存IPC则纯粹用于共享目的，固然mmap()实现共享内存也是其主要应用之一。函数

图3：直接映射文件ui

clip_image006

图4：开辟共享内存空间spa

clip_image007

linux采用的是页式管理机制。对于用mmap()映射普通文件来讲，进程会在本身的地址空间新增一块空间，空间大小由mmap()的length参数指定，注意，进程并不必定可以对所有新增空间都能进行有效访问。进程可以访问的有效地址大小取决于文件被映射部分的大小。简单的说，可以容纳文件被映射部分大小的最少页面个数决定了进程从mmap()返回的地址开始，可以有效访问的地址空间大小。超过这个空间大小，内核会根据超过的严重程度返回发送不一样的信号给进程。以下图所示：设计

图5：mmap映射3d

clip_image009

这个具体差别跟系统实现有关，这里不作详细讨论。

数据结构

文件详细信息

struct stat {

   dev_t     st_dev;     /* ID of device containing file */

   ino_t     st_ino;     /* inode number */

   mode_t    st_mode;    /* protection */

   nlink_t   st_nlink;   /* number of hard links */

   uid_t     st_uid;     /* user ID of owner */

   gid_t     st_gid;     /* group ID of owner */

   dev_t     st_rdev;    /* device ID (if special file) */

   off_t     st_size;    /* total size, in bytes */

   blksize_t st_blksize; /* blocksize for file system I/O */

   blkcnt_t  st_blocks;  /* number of 512B blocks allocated */

   time_t    st_atime;   /* time of last access */

   time_t    st_mtime;   /* time of last modification */

   time_t    st_ctime;   /* time of last status change */

};

函数说明

#include <sys/mman.h>

void *mmap(void *addr, size_t length, int prot, int flags, int fd, off_t offset);

void *mmap64(void *addr, size_t length, int prot, int flags, int fd, off64_t offset);

Ø  fd：为即将映射到进程空间的文件描述字，通常由open()返回，同时，fd能够指定为-1，此时须指定flags参数中的MAP_ANON，代表进行的是匿名映射（不涉及具体的文件名，避免了文件的建立及打开，很显然只能用于具备亲缘关系的进程间通讯）。

Ø  Length：映射到调用进程地址空间的字节数，它从被映射文件开头offset个字节开始算起。prot：指定共享内存的访问权限。可取以下几个值的或：PROT_READ（可读），PROT_WRITE（可写），PROT_EXEC（可执行），PROT_NONE（不可访问）。

Ø  flags：由如下几个常值指定MAP_SHARED, MAP_PRIVATE, MAP_FIXED等，其中，MAP_SHARED, MAP_PRIVATE必选其一，而MAP_FIXED则不推荐使用。

ü  MAP_SHARED 对映射区域的写入数据会复制回文件内，并且容许其余映射该文件的进程共享。

ü  MAP_PRIVATE 对映射区域的写入操做会产生一个映射文件的复制，即私人的“写入时复制”（copy on write）对此区域做的任何修改都不会写回原来的文件内容。

ü  MAP_FIXED 若是参数start所指的地址没法成功创建映射时，则放弃映射，不对地址作修正。一般不鼓励用此旗标。

ü  MAP_ANONYMOUS 创建匿名映射。此时会忽略参数fd，不涉及文件，并且映射区域没法和其余进程共享。

ü  MAP_LOCKED 将映射区域锁定住，这表示该区域不会被置换（swap）。

Ø  offset：通常设为0，表示从文件头开始映射。

Ø  addr：指定文件应被映射到进程空间的起始地址，通常被指定一个空指针，此时选择起始地址的任务留给内核来完成。函数的返回值为最后文件映射到进程空间的地址，进程可直接操做起始地址为该值的有效地址。

 

int munmap(void *addr, size_t length);

该调用在进程地址空间中解除一个映射关系，addr是调用mmap()时返回的地址，length是映射区的大小。当映射关系解除后，对原来映射地址的访问将致使段错误发生。

 

int msync(void *addr, size_t length, int flags);

通常说来，进程在映射空间的对共享内容的改变并不直接写回到磁盘文件中，每每在调用munmap()后才执行该操做。能够经过调用msync()实现磁盘上文件内容与共享内存区的内容一致。

 

// 调整fd所指的文件的大小到length

int ftruncate(int fd, off_t length);

 

// 获取fd所指的文件的详细信息

int fstat(int fd, struct stat *buf);

代码说明

写共享内存
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>

typedef struct
{
    char name[32];
    int age;
} people;

main(int argc, char** argv)
{
    people* p_map;
    char temp = 'a';
    
    int fd = open(argv[1], O_CREAT|O_RDWR|O_TRUNC, 00777);
    if (-1 == fd)
    {
        printf("open file error = %s\n", strerror(errno));
        return -1;
    }
    ftruncate(fd, sizeof(people)*10);
    p_map = (people*)mmap(NULL, sizeof(people)*10, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (MAP_FAILED == p_map)
    {
        printf("mmap file error = %s\n", strerror(errno));
        return -1;
    }
    
    for(int i = 0; i < 10; i++)
    {
        memcpy( ( *(p_map+i) ).name, &temp, 1);
        ( *(p_map+i) ).name[1] = 0;
        ( *(p_map+i) ).age = 20+i;
        temp += 1;
    }
    printf("initialize over\n");
        
    close(fd);
    munmap(p_map, sizeof(people)*10);
    printf("umap ok \n");
    return 0;
}
读共享内存
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/stat.h>

typedef struct
{
    char name[32];
    int age;
} people;

main(int argc, char** argv)
{
    people* p_map;
    struct stat filestat;
    
    int fd = open(argv[1], O_CREAT|O_RDWR, 00777);
    if (-1 == fd)
    {
        printf("open file error = %s\n", strerror(errno));
        return -1;
    }
    fstat(fd, &filestat);
    p_map = (people*)mmap(NULL, filestat.st_size, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (MAP_FAILED == p_map)
    {
        printf("mmap file error = %s\n", strerror(errno));
        return -1;
    }
    
    for(int i = 0; i < 10; i++)
    {
        printf("name = %s, age = %d\n",(*(p_map+i)).name, (*(p_map+i)).age);
    }
    
    close(fd);
    munmap(p_map, sizeof(people)*10);
    printf("umap ok \n");
    return 0;
}

结果说明

[root@rocket ipc]# g++ -g -o ipc_mmap_writer ipc_mmap_writer.cpp

[root@rocket ipc]# ./ipc_mmap_writer /tmp/mmap_text.file

initialize over

umap ok

[root@rocket ipc]# g++ -g -o ipc_mmap_reader ipc_mmap_reader.cpp

[root@rocket ipc]# ./ipc_mmap_reader /tmp/mmap_text.file

name = a, age = 20

name = b, age = 21

name = c, age = 22

name = d, age = 23

name = e, age = 24

name = f, age = 25

name = g, age = 26

name = h, age = 27

name = i, age = 28

name = j, age = 29

umap ok

查看mmap文件

[root@rocket ipc]# ll /tmp/mmap_text.file

-rwxr-xr-x. 1 root root 360 Oct 14 02:55 /tmp/mmap_text.file

POSIX共享内存

POSIX共享内存使用方法有如下两个步骤：

Ø  经过shm_open建立或打开一个POSIX共享内存对象

Ø  调用mmap将它映射到当前进程的地址空间

和经过内存映射文件进行通讯的使用上差异在于mmap描述符参数获取方式不同：经过open或shm_open。以下图所示：

图6：Posix内存映射文件

clip_image011

POSIX共享内存和POSIX消息队列，有名信号量同样都是具备随内核持续性的特色。

在Linux 2.6.x中，对于POSIX信号量和共享内存的名字会在/dev/shm下创建对应的路径名

[root@rocket shm]# ll /dev/shm/|grep mem

-rwxr-xr-x. 1 root root      360 Oct 14 05:23 shm_from_mem.txt

函数说明

#include <sys/mman.h>

#include <sys/stat.h>        /* For mode constants */

#include <fcntl.h>           /* For O_* constants */

// 打开一个共享内存的文件句柄

int shm_open(const char *name, int oflag, mode_t mode);

注意这里的名字具备形式 /somename，即必须以 / 为开头，由于POSIX共享内存对应的文件是位于/dev/shm这个特殊的文件系统内。

 

// 删除一个共享内存的名字，但只有全部程序都关闭，才会真的删除

int shm_unlink(const char *name);

代码说明

写共享内存
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>

typedef struct
{
    char name[32];
    int age;
} people;

main(int argc, char** argv)
{
    people* p_map;
    char temp = 'a';
    
    int fd = shm_open(argv[1], O_CREAT|O_RDWR, 00777);
    if (-1 == fd)
    {
        printf("open file error = %s\n", strerror(errno));
        return -1;
    }
    ftruncate(fd, sizeof(people)*10);
    p_map = (people*)mmap(NULL, sizeof(people)*10, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (MAP_FAILED == p_map)
    {
        printf("mmap file error = %s\n", strerror(errno));
        return -1;
    }
    
    for(int i = 0; i < 10; i++)
    {
        memcpy( ( *(p_map+i) ).name, &temp, 1);
        ( *(p_map+i) ).name[1] = 0;
        ( *(p_map+i) ).age = 20+i;
        temp += 1;
    }
    printf("initialize over\n");
        
    close(fd);
    munmap(p_map, sizeof(people)*10);
    printf("umap ok \n");
    return 0;
}
读共享内存

 

#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/stat.h>

typedef struct
{
    char name[32];
    int age;
} people;

main(int argc, char** argv)
{
    people* p_map;
    struct stat filestat;
    
    int fd = shm_open(argv[1], O_CREAT|O_RDWR, 00777);
    if (-1 == fd)
    {
        printf("open file error = %s\n", strerror(errno));
        return -1;
    }
    fstat(fd, &filestat);
    p_map = (people*)mmap(NULL, filestat.st_size, PROT_READ|PROT_WRITE, MAP_SHARED, fd, 0);
    if (MAP_FAILED == p_map)
    {
        printf("mmap file error = %s\n", strerror(errno));
        return -1;
    }
    
    for(int i = 0; i < 10; i++)
    {
        printf("name = %s, age = %d\n",(*(p_map+i)).name, (*(p_map+i)).age);
    }
    
    close(fd);
    munmap(p_map, sizeof(people)*10);
    printf("umap ok \n");
    return 0;
}
删除共享内存
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/stat.h>

main(int argc, char** argv)
{
    int ret = shm_unlink(argv[1]);
    if (-1 == ret)
    {
        printf("unlink shm error = %s\n", strerror(errno));
        return -1;
    }
    
    printf("unlink ok \n");
    return 0;
}

结果说明

[root@rocket ipc]# g++ -g -o ipc_posix_mmap_writer ipc_posix_mmap_writer.cpp -lrt

[root@rocket ipc]# ./ipc_posix_mmap_writer /shm_from_mem.txt

initialize over

umap ok

[root@rocket ipc]# g++ -g -o ipc_posix_mmap_reader ipc_posix_mmap_reader.cpp -lrt

[root@rocket ipc]# ./ipc_posix_mmap_reader /shm_from_mem.txt

name = a, age = 20

name = b, age = 21

name = c, age = 22

name = d, age = 23

name = e, age = 24

name = f, age = 25

name = g, age = 26

name = h, age = 27

name = i, age = 28

name = j, age = 29

umap ok

 

[root@rocket ipc]# ./ipc_posix_mmap_unlink /shm_from_mem.txt

unlink ok

[root@rocket ipc]# ./ipc_posix_mmap_unlink /shm_from_mem.txt

unlink shm error = No such file or directory

[root@rocket ipc]# ll /dev/shm/|grep mem

[root@rocket ipc]#

能够看到/dev/shm下面的shm_from_mem.txt已经被删除了。

System V共享内存

系统调用mmap()经过映射一个普通文件实现共享内存。System V则是经过映射特殊文件系统shm中的文件实现进程间的共享内存通讯。也就是说，每一个共享内存区域对应特殊文件系统shm中的一个文件（这是经过shmid_kernel结构联系起来的）。进程间须要共享的数据被放在一个叫作IPC共享内存区域的地方，全部须要访问该共享区域的进程都要把该共享区域映射到本进程的地址空间中去。System V共享内存经过shmget得到或建立一个IPC共享内存区域，并返回相应的标识符。内核在保证shmget得到或建立一个共享内存区，初始化该共享内存区相应的shmid_kernel结构注同时，还将在特殊文件系统shm中，建立并打开一个同名文件，并在内存中创建起该文件的相应dentry及inode结构，新打开的文件不属于任何一个进程（任何进程均可以访问该共享内存区）。全部这一切都是系统调用shmget完成的。

每个共享内存区都有一个控制结构struct shmid_kernel，shmid_kernel是共享内存区域中很是重要的一个数据结构，它是存储管理和文件系统结合起来的桥梁，定义以下：

struct shmid_kernel /* private to the kernel */

{       

         struct kern_ipc_perm      shm_perm;

         struct file *                shm_file;

         int                       id;

         unsigned long           shm_nattch;

         unsigned long           shm_segsz;

         time_t                         shm_atim;

         time_t                         shm_dtim;

         time_t                         shm_ctim;

         pid_t                            shm_cprid;

         pid_t                            shm_lprid;

};

该结构中最重要的一个域应该是shm_file，它存储了将被映射文件的地址。每一个共享内存区对象都对应特殊文件系统shm中的一个文件，通常状况下，特殊文件系统shm中的文件是不能用read()、write()等方法访问的，当采起共享内存的方式把其中的文件映射到进程地址空间后，可直接采用访问内存的方式对其访问。

图7：System V共享内存内核结构

clip_image013

内核经过数据结构struct ipc_ids shm_ids维护系统中的全部共享内存区域。上图中的shm_ids.entries变量指向一个ipc_id结构数组，而每一个ipc_id结构数组中有个指向kern_ipc_perm结构的指针。到这里读者应该很熟悉了，对于系统V共享内存区来讲，kern_ipc_perm的宿主是shmid_kernel结构，shmid_kernel是用来描述一个共享内存区域的，这样内核就可以控制系统中全部的共享区域。同时，在shmid_kernel结构的file类型指针shm_file指向文件系统shm中相应的文件，这样，共享内存区域就与shm文件系统中的文件对应起来。

在建立了一个共享内存区域后，还要将它映射到进程地址空间，系统调用shmat()完成此项功能。因为在调用shmget()时，已经建立了文件系统shm中的一个同名文件与共享内存区域相对应，所以，调用shmat()的过程至关于映射文件系统shm中的同名文件过程，原理与mmap()大同小异。

函数说明

#include <sys/ipc.h>

#include <sys/shm.h>

// 获取共享内存区域

int shmget(key_t key, size_t size, int shmflg);

// 链接共享内存区域

void *shmat(int shmid, const void *shmaddr, int shmflg);

// 断开共享内存区域

int shmdt(const void *shmaddr);

// 对共享内存区域进行控制

int shmctl(int shmid, int cmd, struct shmid_ds *buf);

// 将path和proj_id转换成System V IPC key

key_t ftok(const char *pathname, int proj_id);

代码说明

写共享内存
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/shm.h>

typedef struct
{
    char name[32];
    int age;
} people;

int main(int argc, char** argv)
{
    int shm_id,i;
    key_t key;
    people* p_map;
    char temp = 'a';
    
    const char* name = "/dev/shm/my_systemv_shm1";
    key = ftok(name,0);
    if (key == -1)
    {
        perror("ftok error");
        return -1;
    }
    shm_id=shmget(key, 4096, IPC_CREAT);
    if(shm_id == -1)
    {
        perror("shmget error");
        return -1;
    }
    p_map=(people*)shmat(shm_id,NULL,0);
    
    for(int i = 0; i < 10; i++)
    {
        memcpy( ( *(p_map+i) ).name, &temp, 1);
        ( *(p_map+i) ).name[1] = 0;
        ( *(p_map+i) ).age = 20+i;
        temp += 1;
    }
    printf("initialize over\n");
    
    if(shmdt(p_map) == -1)
    {
        perror(" detach error ");
        return -1;
    }
    
    return 0;
}
读共享内存
#include <sys/mman.h>
#include <fcntl.h>
#include <sys/mman.h>
#include <sys/types.h>
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <errno.h>
#include <string.h>
#include <sys/ipc.h>
#include <sys/shm.h>

typedef struct
{
    char name[32];
    int age;
} people;

int main(int argc, char** argv)
{
    int shm_id,i;
    key_t key;
    people* p_map;
    
    const char* name = "/dev/shm/my_systemv_shm1";
    key = ftok(name,0);
    if (key == -1)
    {
        perror("ftok error");
        return -1;
    }
    shm_id=shmget(key, 4096, IPC_CREAT);
    if(shm_id == -1)
    {
        perror("shmget error");
        return -1;
    }
    p_map=(people*)shmat(shm_id,NULL,0);
    
    for(int i = 0; i < 10; i++)
    {
        printf( "name:%s, ",(*(p_map+i)).name );
        printf( "age %d\n",(*(p_map+i)).age );
    }
    
    if(shmdt(p_map) == -1)
    {
        perror(" detach error ");
        return -1;
    }
    
    return 0;
}

结果说明

[root@rocket ipc]# g++ -g -o ipc_systemv_mmap_writer ipc_systemv_mmap_writer.cpp

[root@rocket ipc]# touch /dev/shm/my_systemv_shm1

[root@rocket ipc]# ./ipc_systemv_mmap_writer

initialize over

[root@rocket ipc]# g++ -g -o ipc_systemv_mmap_reader ipc_systemv_mmap_reader.cpp

[root@rocket ipc]# ./ipc_systemv_mmap_reader

name:a, age 20

name:b, age 21

name:c, age 22

name:d, age 23

name:e, age 24

name:f, age 25

name:g, age 26

name:h, age 27

name:i, age 28

name:j, age 29

 

观察一下共享内存：

[root@rocket ipc]# ./get_ipc_key /dev/shm/my_systemv_shm1

key = 1084739

[root@rocket ipc]# ipcs

 

------ Shared Memory Segments --------

key        shmid      owner      perms      bytes      nattch     status     

0x00000000 0          gdm        600        393216     2          dest        

0x00000000 32769      gdm        600        393216     2          dest        

0x00000000 65538      gdm        600        393216     2          dest        

0x00000000 98307      gdm        600        393216     2          dest        

0x00108d43 131076     root       0          4096       0   

 

看到咱们新建的共享内存了吧？删除也很简单：

[root@rocket ipc]# ipcrm -m 131076

[root@rocket ipc]# ipcs

 

------ Shared Memory Segments --------

key        shmid      owner      perms      bytes      nattch     status     

0x00000000 0          gdm        600        393216     2          dest        

0x00000000 32769      gdm        600        393216     2          dest        

0x00000000 65538      gdm        600        393216     2          dest        

0x00000000 98307      gdm        600        393216     2          dest

 

总结及3种共享内存比较

共享内存是最快的IPC形式，在开发中，咱们必定要充分利用好共享内存的特性，取得事半功倍的效果。

类型

原理

易失性

mmap

利用文件(open)映射共享内存区域

会保存在磁盘上，不会丢失

Posix shared memory

利用/dev/shm文件系统(mmap)映射共享内存区域

随内核持续，内核自举后会丢失

SystemV shared memory

利用/dev/shm文件系统(shmat)映射共享内存区域

随内核持续，内核自举后会丢失
相关文章
相关标签/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公众号
   欢迎关注本站公众号,获取更多信息
联系我们 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程