PostgreSQL dsm 动态共享内存管理机制

  • 源码版本：PG 13.3
  • 源码文件：dsm.c dsm_impl.c

PostgreSQL 是基于进程模型的数据库内核实现，进程之间的通信、数据传输通常需要借助共享内存实现。在程序运行过程中，比如并发任务需要创建多个工作进程，工作进程与 backend 进程之间的通信、数据传输需要通过动态创建的共享内存实现。在 PG 源码中，dsm （dynamic shared memory）模块就是动态共享内存，实现了共享内存的动态申请，动态释放。

dsm 内存实际上就是通过一个 handle 与一块内存进行映射，handle 是一个 unsigned int 的 32 位整数。创建 dsm 时指定一个 handle，访问 dsm 时也是通过这个 handle 进行访问。不同进程之间通过传递 handle 来告诉对方 dsm 内存在哪里，其他进程通过 handle 进行 dsm 的访问。

1. 初始化 dsm

在 postmaster 主进程启动时，调用 dsm_postmaster_startup() 函数，进行 dsm 相关的初始化，主要逻辑如下：

  1. 计算 dsm control 结构所需要的内存大小，该值与 MaxBackends 大小有关
  2. 调用 dsm_impl_op() 函数创建用于 dsm control 结构的 dsm 共享内存，赋值给 dsm_control 变量，该变量的类型为 dsm_control_header
  3. 初始化 maxitems 和 nitems，maxitems 表示 PG 所有进程能够申请的 dsm 最大数量，nitems 表示当前已使用的数量，每一次 dsm 申请，对应一个 dsm_control_item

dsm_control_header 结构如下： 

typedef struct dsm_control_header
{
    uint32		magic;
    uint32		nitems;
    uint32		maxitems;
    dsm_control_item item[FLEXIBLE_ARRAY_MEMBER];
} dsm_control_header;

dsm_control_item 结构如下： 

typedef struct dsm_control_item
{
    dsm_handle	handle;
    uint32		refcnt;			/* 2+ = active, 1 = moribund, 0 = gone */
    void	   *impl_private_pm_handle; /* only needed on Windows */
    bool		pinned;
} dsm_control_item;

函数调用关系如下： 

main()
    PostmasterMain()
        reset_shared()
            CreateSharedMemoryAndSemaphores()
                dsm_postmaster_startup()

2. 清理 dsm

在 postmaster 主进程关闭时，会调用 dsm_postmaster_shutdown() 函数进行 dsm 的清理。

主库逻辑：

  1. 遍历 dsm_control->nitems 数组，对其中正在使用的 item 对应的 dsm 内存进行销毁
  2. 销毁 dsm_control 自身对应的 dsm 内存

清理操作在 shmem exit 时通过回调函数进行调用，参考 

dsm_postmaster_startup()
{
    ...
    on_shmem_exit(dsm_postmaster_shutdown, PointerGetDatum(shim));
    ...
}

3. dsm 使用流程

在 pg 13.3 的源码中，一个使用 dsm 的场景是并行工作进程，其主要逻辑如下：

  • 执行器在初始化并行执行计划时，调用 dsm_create() 创建 dsm 共享内存。创建工作进程时，将 dsm 对应的 handle 作为参数传递给 worker 进程，调用关系如下： 
ExecGather()
    ExecInitParallelPlan()
        InitializeParallelDSM()
            dsm_create()
    LaunchParallelWorkers()
            worker.bgw_main_arg = UInt32GetDatum(dsm_segment_handle(pcxt->seg));
  • 子进程（worker进程）调用 dsm_attach() 函数挂载到共享内存，子进程执行结束时，调用 dsm_detach() 函数解除挂载的 dsm 共享内存，调用关系如下： 
ParallelWorkerMain()
    seg = dsm_attach(DatumGetUInt32(main_arg));
    ParallelQueryMain(seg)
        area = dsa_attach_in_place(area_space, seg);
        dsa_detach(area)
            dsm_detach(area->segment_maps[i].segment);

4. dsm 主要函数

4.1 dsm_create()

dsm_create()，该函数有两个参数，要申请的共享内存大小 size 和 flag，返回 dsm_segment 类型的指针。主要逻辑是调用 dsm_impl_op()函数，传入 DSM_OP_CREATE 参数创建一个新的共享内存，创建成功后在 dsm_control->item 数组中找到一个可用的 slot 记录该共享内存。

4.2 dsm_attach()

dsm_attach()，参数为 dsm_handle，一般 A 进程创建了一个共享内存，把其 dsm_handle 传递给 B 进程，B 进程调用 dsm_attach() 函数进行共享内存的挂载。主要逻辑是根据 dsm_handle 在 dsm_control->item 数组中找到对应的 item，将其引用计数加 1，调用 dsm_impl_op() 函数，传入 DSM_OP_ATTACH 参数进行共享内存的挂载。该函数不能重复调用，即不支持重复挂载。

4.3 dsm_detach()

dsm_detach()，参数为 dsm_segment 指针，用于对共享内存解除挂载。主要逻辑是调用dsm_impl_op()函数，传入 DSM_OP_DETACH 参数对共享内存解除挂载，dsm_control->item 数组中对应的 item 其引用计数减 1，根据引用计数判断如果没有其他进程挂载该共享内存，则调用 dsm_impl_op() 函数，传入 DSM_OP_DESTROY 参数进行共享内存的销毁。

4.4 dsm_pin_mapping()

dsm_pin_mapping() 函数，让 dsm 生命周期变成 session 级的， seg->resowner 指向资源拥有者，比如当前事务结束，会调用 ResourceOwnerRelease() 函数释放相关的资源，如果seg->resowner 不为空，那么 seg 对应的 dsm 也会被释放。如果设置 seg->resowner 为 NULL，事务结束释放资源时不会解除 dsm 挂载，直到 session 结束。 

CommitTransaction()
    ResourceOwnerRelease()
        ResourceOwnerReleaseInternal()
            dsm_detach()

session 结束时自动释放 dsm 逻辑： 

proc_exit()
    proc_exit_prepare()
        shmem_exit()
            dsm_backend_shutdown()
                dsm_detach()

4.5 dsm_unpin_mapping()

与 dsm_pin_mapping() 函数相反，让 dsm 生命周期变成非 session 级的，即当前的 CurrentResourceOwner 操作结束就会解除 dsm 的挂载。主要逻辑就是设置 seg->resowner 为 CurrentResourceOwner，把 seg 加到当前 CurrentResourceOwner 的资源列表中去。

4.6 dsm_pin_segment()

dsm_pin_segment()函数，设置 dsm_control->item[seg->control_slot].pinned 为 true，同时引用计数加 1。

4.7 dsm_unpin_segment()

dsm_unpin_segment() 函数，将 dsm_control->item[seg->control_slot].pinned 设置为 false，引用计数减 1，如果引用计数为 1 时（即没有其他进程挂载），销毁该共享内存。

4.8 on_dsm_detach()

on_dsm_detach()函数，注册回调函数，在执行 dsm_detach()函数时执行回调函数。

5. 动态共享内存 dsm 底层实现

dsm 最终通过调用 dsm_impl_op() 函数实现动态共享内存的创建，挂载，解除挂载和销毁操作，操作类型对应的枚举类型如下： 

typedef enum
{
    DSM_OP_CREATE,
    DSM_OP_ATTACH,
    DSM_OP_DETACH,
    DSM_OP_DESTROY
} dsm_op;

不同的操作系统内核支持的共享内存实现方式不同，PG 的 dsm 支持如下四种动态共享内存实现方法，如下：

  • posix
  • sysv
  • mmap
  • windows

5.1 dsm posix 实现方式

dsm posix 主要逻辑在 dsm_impl_posix() 函数中实现，共享内存对应的文件名称为 /PostgreSQL.${handle}

  • DSM_OP_CREATE 对应 shm_open()，ftruncate()，posix_fallocate()，mmap()
  • DSM_OP_ATTACH 对应 shm_open()，mmap()
  • DSM_OP_DETACH 对应 munmap()
  • DSM_OP_DESTROY 对应 munmap() 和 shm_unlink()

5.2 dsm sysv 实现方式

dsm sysv 主要逻辑在 dsm_impl_sysv() 函数中实现，handle 转成 key_t 类型，作为 shmget() 函数的参数。

  • DSM_OP_CREATE 对应 shmget()，shmat()
  • DSM_OP_ATTACH 对应 shmget()，shmctl()，shmat()
  • DSM_OP_DETACH 对应 shmget()，shmdt()
  • DSM_OP_DESTROY 对应 shmget()，shmdt() 和 shmctl()

5.3 dsm mmap 实现方式

dsm mmap 主要逻辑在 dsm_impl_mmap() 函数中实现，共享内存对应的文件名称为 pg_dynshmem/mmap.${handle}

  • DSM_OP_CREATE 对应 open()，write()，mmap()，close()
  • DSM_OP_ATTACH 对应 open()，mmap()，close()
  • DSM_OP_DETACH 对应 munmap()
  • DSM_OP_DESTROY 对应 munmap()，unlink()

5.4 dsm windows 实现方式

dsm windows 主要逻辑在 dsm_impl_windows() 函数中实现，共享内存对应的文件名称为 Global/PostgreSQL.${handle}

  • DSM_OP_CREATE 对应 CreateFileMapping()，MapViewOfFile()，VirtualQuery()
  • DSM_OP_ATTACH 对应 OpenFileMapping()，MapViewOfFile()，VirtualQuery()
  • DSM_OP_DETACH 对应 UnmapViewOfFile()，CloseHandle()
  • DSM_OP_DESTROY 对应 UnmapViewOfFile()，CloseHandle()

6. dsm 相关参数

  • dynamic_shared_memory_type，动态共享内存的类型，可选值 posix、sysv、mmap、windows

文章评论

共0条评论