nginx基础架构

0. 前言

前一段时间对分布式系统进行了整理,其中提到了api网关,常用的api网关就是nginx,这里对nginx进行一个较深入的学习,主要参考《深入理解Nginx:模块开发与架构解析》。

初步划分成4篇文章来学习:

  1. nginx基础架构
  2. nginx事件模块
  3. Http模块执行流程
  4. upstream机制

本篇来看看nginx的基础架构。

1. 架构概述

这里想讲2个点

  1. 如何提到nginx的性能(并发量)

    在分布式系统中,最简单的提高并发的方式是缓存与异步,缓存是从内存使用上讲,在这里表现为nginx对内存的使用,nginx采用了及其节省内存的方式,在请求之间从不去复制数据,都是采用引用的方式。这里重点是异步。nginx对异步的使用真是特色。

    1. 通过epoll事件机制提高IO复用

      Nginx事件的简单模型
    2. 并以此为基础,对请求事件分解为多个阶段

      划分非阻塞的系统调用,然后根据划分划分成多个阶段,这个有点像是向量机。

      除了非阻塞系统调用,也可以是定时器,例如:有时阻塞的代码段可能是这样的:进行某个无阻塞的系统调用后,必须通过持续的检查标志位来确定是否继续向下执行,当标志位没有获得满足时就循环地检查下去。这样的代码段本身没有阻塞方法调用,可实际上是阻塞进程的。这时,应该使用定时器来代替循环检查标志,这样定时器事件发生时就会先检查标志,如果标志位不满足,就立刻归还进程控制权,同时继续加入期望的下一个定时器事件。

    3. 还表现在Master-Worker节点上,有多个Worker进程来处理请求,进一步提高性能

      Nginx多进程设计

      master进程负责监控woker进程状态,并负责关管理其行为,多个worker进程通过进程间通信实现负载均衡,一个请求来时,更容易被分配到负载较轻的worker工作进程中。

  2. 如何提高nginx的可扩展性

    nginx提供了多层次、多类别的模块设计,Nginx有5大类的模块:核心模块、配置模块、事件模块、HTTP模块、mail模块。它们都具备相同的ngx_module_t接口,但在请求处理流程中的层次并不相同。在这5种模块中,配置模块与核心模块都是与Nginx框架密切相关的,是其他模块的基础。而事件模块则是HTTP模块和mail模块的基础。

    事件模块、HTTP模块、mail模块这3种模块的共性是:实际上它们在核心模块中各有1个模块作为自己的“代言人”,并在同类模块中有1个作为核心业务与管理功能的模块。例如,事件模块是由它的“代言人”——ngx_events_module核心模块定义,所有事件模块的加载操作不是由Nginx框架完成的,而是由ngx_event_core_module模块负责的。

    Nginx常用模块及其关系

2. 基本结构

nginx_cycle_t

ngx_cycle_t结构体是一块全局数据体,Nginx核心的框架代码一致围绕着它展开.其如下:

struct ngx_cycle_s {
    
   //保存着所有模块存储配置项的结构体的指针,它首先是一个数组,每个数组成员又是一个指针,这个指针指向另一个存储着指针的数组
    void                  ****conf_ctx;
    
    // 内存池
    ngx_pool_t               *pool;

    // 日志模块提供了生成该对象功能
    ngx_log_t                *log;
    ngx_log_t                 new_log;

    ngx_uint_t                log_use_stderr;  /* unsigned  log_use_stderr:1; */

    // 一些事件模块,会预先建立一些ngx_connection_t的结构体,来加速事件的收集、分发
    ngx_connection_t        **files;
    
    // 可用连接池
    ngx_connection_t         *free_connections;
    ngx_uint_t                free_connection_n;

    // 所有模块
    ngx_module_t            **modules;
    ngx_uint_t                modules_n;
    ngx_uint_t                modules_used;    /* unsigned  modules_used:1; */

        // 双向链表容器,元素是ngx_connection_t,表示可复用的连接队列
    ngx_queue_t               reusable_connections_queue;
    ngx_uint_t                reusable_connections_n;

    // 动态数组,元素是ngx_listening_t成员,表示监听端口与相关参数
    ngx_array_t               listening;
    ngx_array_t               paths;

    ngx_array_t               config_dump;
    ngx_rbtree_t              config_dump_rbtree;
    ngx_rbtree_node_t         config_dump_sentinel;

    /*单链表容器,元素类型是ngx_open_file_t结构体,它表示Nginx已经打开的所有文件。事实上,
Nginx框架不会向open_files链表中添加文件,而是由对此感兴趣的模块向其中添加文件路径名,Nginx框架会在ngx_init_cycle方法中打开这些文件*/
    ngx_list_t                open_files;
    
    //单链表容器,元素的类型是ngx_shm_zone_t结构体,每个元素表示一块共享内存
    ngx_list_t                shared_memory;

    // 当前进程中所有连接对象的总数,与下面的connections成员配合使用
    ngx_uint_t                connection_n;
    ngx_uint_t                files_n;

    ngx_connection_t         *connections;
    
    // 指向当前进程中的所有读事件对象,connection_n同时表示所有读事件的总数
    ngx_event_t              *read_events;
    // 指向当前进程中的所有写事件对象
    ngx_event_t              *write_events;

    ngx_cycle_t              *old_cycle;

    // 配置文件相对于安装目录的路径名称
    ngx_str_t                 conf_file;
    // Nginx处理配置文件时需要特殊处理的在命令行携带的参数,一般是-g选项携带的参数
    ngx_str_t                 conf_param;
    // Nginx配置文件所在目录的路径
    ngx_str_t                 conf_prefix;
    // Nginx安装目录的路径
    ngx_str_t                 prefix;
    // 用于进程间同步的文件锁名称
    ngx_str_t                 lock_file;
    ngx_str_t                 hostname;
};

从上述配置中,就可以看出,它包含有配置、模块、连接、事件、内存等各个方面的数据,所以相当于context了。

ngx_module_t

nginx的module定义主要是ngx_module_t以及通过ctx关联各种不同类型的module独有的结构,整个结构如下:

ngx_module_t中定义的7个通用的类似于生命周期的函数,init_master、init_module、init_process、init_thread、exit_thread、exit_process、exit_master。

这里对核心模块多说一下,核心模块,它的模块类型type叫做NGX_CORE_MODULE。目前官方的核心类型模块中共有6个具体模块,分别是ngx_core_module、ngx_errlog_module、ngx_events_module、ngx_openssl_module、ngx_http_module、ngx_mail_module模块。通过核心模块可以使得非模块化的框架代码只关注于如何调用6个核心模块。在下边的启动流程中,会看到去核心模块中create_conf、init_conf的调用。

3. nginx启动流程

整个启动流程如下:

nginx初始化流程

  • 第3步~第8步,都是在ngx_init_cycle方法中执行的。在初始化ngx_cycle_t中的所有容器后,会为读取、解析配置文件做准备工作。因为每个模块都必须有相应的数据结构来存储配置文件中的各配置项,创建这些数据结构的工作都需要在这一步进行。Nginx框架只关心NGX_CORE_MODULE核心模块,这也是为了降低框架的复杂度。

    这里将会调用所有核心模块的create_conf方法,这意味着需要所有的核心模块开始构造用于存储配置项的结构体。其他非核心模块怎么办呢?其实很简单。这些模块大都从属于一个核心模块,如每个HTTP模块都由ngx_http_module管理(如图8-2所示),这样ngx_http_module在解析自己感兴趣的“http”配置项时,将会调用所有HTTP模块约定的方法来创建存储配置项的结构体。

    对应ngx_cycle_modules()、module->create_conf()

  • 第4步,调用配置模块提供的解析配置项方法。遍历nginx.conf中的所有配置项,对于任一个配置项,将会检查所有核心模块以找出对它感兴趣的模块,并调用该模块在ngx_command_t结构体中定义的配置项处理方法。

    对应ngx_conf_parse()

  • 第5步,调用所有NGX_CORE_MODULE核心模块的init_conf方法。这一步骤的目的在于让所有核心模块在解析完配置项后可以做综合性处理。

    对应module->init_conf()

  • 第6步,在之前核心模块的init_conf或者create_conf方法中,可能已经有些模块(如缓存模块)在ngx_cycle_t结构体中的pathes动态数组和open_files链表中添加了需要打开的文件或者目录,本步骤将会创建不存在的目录,并把相应的文件打开。同时,ngx_cycle_t结构体的shared_memory链表中将会开始初始化用于进程间通信的共享内存。

    ngx_shm_alloc、ngx_init_zone_pool

  • 第7步,之前第4步在解析配置项时,所有的模块都已经解析出自己需要监听的端口,如HTTP模块已经在解析http配置项时得到它要监听的端口,并添加到listening数组中了。这一步骤就是按照listening数组中的每一个ngx_listening_t元素设置socket句柄并监听端口

    对应ngx_open_listening_sockets()

  • 第8步,在这个阶段将会调用所有模块的init_module方法。接下来将会根据配置的Nginx运行
    模式决定如何工作。

    对应init_module()

    以上为在ngx_init_cycle()中执行,下边根据配置,进入单进程还是多进程的工作模式,这里只看多进程。

  • 如果是多进程,进入ngx_master_process_cycle()会启动worker进程,ngx_start_worker_processes(),以及cache manager进程ngx_start_cache_manager_processes(),下边分别看看worker进程与master进程。

4. worker进程

woker进程创建

前边说通过ngx_start_worker_processes来启动worker进程,如下:

static void
ngx_start_worker_processes(ngx_cycle_t *cycle, ngx_int_t n, ngx_int_t type)
{
    ngx_int_t  i;

    ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "start worker processes");

    for (i = 0; i < n; i++) {

        ngx_spawn_process(cycle, ngx_worker_process_cycle,
                          (void *) (intptr_t) i, "worker process", type);

        ngx_pass_open_channel(cycle);
    }
}

这里通过ngx_spawn_process来创建进程,ngx_worker_process_cycle为worker进程的主循环,下边先来看看ngx_spawn_process.

worker进程主循环

这里调用了先用了socketpair(),生成父子进程通信的一对套接字,接着调用fork()生成子进程,如果是子进程,则进入ngx_worker_process_cycle()循环,该主循环代码如下:

static void
ngx_worker_process_cycle(ngx_cycle_t *cycle, void *data)
{
    ngx_int_t worker = (intptr_t) data;

    ngx_process = NGX_PROCESS_WORKER;
    ngx_worker = worker;

    ngx_worker_process_init(cycle, worker);

    ngx_setproctitle("worker process");

    for ( ;; ) {

        if (ngx_exiting) {
            if (ngx_event_no_timers_left() == NGX_OK) {
                ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "exiting");
                ngx_worker_process_exit(cycle);
            }
        }

        ngx_log_debug0(NGX_LOG_DEBUG_EVENT, cycle->log, 0, "worker cycle");

        ngx_process_events_and_timers(cycle);

        if (ngx_terminate) {
            ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "exiting");
            ngx_worker_process_exit(cycle);
        }

        if (ngx_quit) {
            ngx_quit = 0;
            ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0,
                          "gracefully shutting down");
            ngx_setproctitle("worker process is shutting down");

            if (!ngx_exiting) {
                ngx_exiting = 1;
                ngx_set_shutdown_timer(cycle);
                ngx_close_listening_sockets(cycle);
                ngx_close_idle_connections(cycle);
            }
        }

        if (ngx_reopen) {
            ngx_reopen = 0;
            ngx_log_error(NGX_LOG_NOTICE, cycle->log, 0, "reopening logs");
            ngx_reopen_files(cycle, -1);
        }
    }
}

主要逻辑是ngx_process_events_and_timers()检查、分发处理事件,其余就是不断检查信号了,ngx_exiting、ngx_terminate、ngx_quit、ngx_reopen等标识,其中的ngx_terminate、ngx_quit、ngx_reopen都将由ngx_signal_handler方法根据接收到的信号来设置。对ngx_process_events_and_timers(),我们放在下篇文章来分析。

5. master进程

标识

master进程完成子进程的创建后,也会进入自己的主循环,它不处理网络事件,不负责业务的执行,只会通过管理worker等子进程来实现重启服务、平滑升级、更换日志文件、配置文件实时生效等功能。

主要有7个标识:

信号标识意义
QUITngx_quit优雅的关闭整个服务
TERM 或 INTngx_terminate强制关闭服务
USR1ngx_reopen重新打开服务中的所有文件
WINCHngx_noaccept所有子进程不再接受处理新的连接,相当于所有子进程发送QUIT信号量
USR2ngx_change_binary平滑升级到新版本的Nginx程序
HUPngx_reconfigure重读配置文件并使服务对新配置项生效
CHIDngx_reap有子进程意外结束,这时需要监控所有的子进程,也就是ngx_reap_children方法的工作

主循环

这里有几个函数可注意一下:

  • ngx_reap_children

    ngx_reap_children方法将会遍历ngx_processes数组,检查每个子进程的状态,对于非正常退出
    的子进程会重新拉起,调用ngx_spawn_process重新创建子进程

  • ngx_signal_worker_processes

    它是master进程向worker进程传递命令的一个函数,构建ngx_channel_t ch其中包含这command,可以是QUIT、TERMINATE、REOPEN,最后调用ngx_write_channel向各个进程发送命令。

# nginx 

评论

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×