open-iscsi源码分析-iscsid（一）

最近用到open-iscsi作用initiator，遇到很多问题，就打算粗率对open-iscsi的源码进行一个分析。

    open-iscsi的组成和用法就不讲了，源码包中的README说得非常清楚，主要分为驱动和用户态两部分，用户态又分为服务守护进程和管理程序，必须先加载驱动，守护进程才能启动成功，最后才是运行iscsiadm进行一些常规管理。

    今天首先对open-iscsi的iscsid守护进程的主程序整体流程进行一个粗率的分析，明白其启动的过程。

    首先是用到的全局变量：

    /*包含了配置文件、pid文件和initiatorname等一些信息*/

   在守护进程启动时，会对这个结构进行初始化，主要是读取/etc/iscsi目录下的配置文件，获取initiatorname等

struct iscsi_daemon_config daemon_config;

struct iscsi_daemon_config *dconfig = &daemon_config;

static char program_name[] = "iscsid";

static pid_t log_pid; /*记录日志的守护进程*/

static gid_t gid; /*运行组id*/

static int daemonize = 1; /*守护进程模式标志*/

static int mgmt_ipc_fd; /*进程间通信的本地socket文件描述符*/

/*iscid启动的参数表*/

static struct option const long_options[] = {

{"config", required_argument, NULL, 'c'},

{"initiatorname", required_argument, NULL, 'i'},

{"foreground", no_argument, NULL, 'f'},

{"debug", required_argument, NULL, 'd'},

{"uid", required_argument, NULL, 'u'},

{"gid", required_argument, NULL, 'g'},

{"no-pid-file", no_argument, NULL, 'n'},

{"pid", required_argument, NULL, 'p'},

{"help", no_argument, NULL, 'h'},

{"version", no_argument, NULL, 'v'},

{NULL, 0, NULL, 0},

};

       initiator.h文件中定义的一些常量，iscsid主程序会用到

       主要是一些配置文件的路径和要创建的文件的位置

#define ISCSI_CONFIG_ROOT "/etc/iscsi/"

#define CONFIG_FILE ISCSI_CONFIG_ROOT"iscsid.conf"

#define INITIATOR_NAME_FILE ISCSI_CONFIG_ROOT"initiatorname.iscsi"

#define PID_FILE "/var/run/iscsid.pid"

#ifndef LOCK_DIR

#define LOCK_DIR "/var/lock/iscsi"

#endif

#define LOCK_FILE LOCK_DIR"/lock"

#define LOCK_WRITE_FILE LOCK_DIR"/lock.write"

       接着是分析iscsid的main程序：

int main(int argc, char *argv[])

{

struct utsname host_info; /* will use to compound initiator alias */

char *config_file = CONFIG_FILE;

char *initiatorname_file = INITIATOR_NAME_FILE;

char *pid_file = PID_FILE;

int ch, longindex;

uid_t uid = 0;

struct sigaction sa_old;

struct sigaction sa_new;

int control_fd;

pid_t pid;

        /*首先是分析iscsid的启动参数*/

while ((ch = getopt_long(argc, argv, "c:i:fd:nu:g:p:vh", long_options, &longindex)) >= 0) {

switch (ch) {

case 'c': /*若不使用默认的配置文件，需要指定*/

config_file = optarg;

break;

case 'i': /*不使用默认的initiatorname文件，也许要指定*/

initiatorname_file = optarg;

break;

case 'f': /*在前台运行，即不进入守护模式*/

daemonize = 0;

break;

case 'd': /*设置调试级别*/

log_level = atoi(optarg);

break;

case 'u': /*设置用户id*/

uid = strtoul(optarg, NULL, 10);

break;

case 'g': /*设置组id*/

gid = strtoul(optarg, NULL, 10);

break;

case 'n': /*不生成pid文件*/

pid_file = NULL;

break;

case 'p': /*不使用默认的pid文件生成路径*/

pid_file = optarg;

break;

case 'v':

printf("%s version %s\n", program_name,

ISCSI_VERSION_STR);

exit(0);

case 'h':

usage(0);

break;

default:

usage(1);

break;

}

}

/* initialize logger */

//返回值是记录日志的子进程id

        /*这里的日志记录进程也是一个守护进程，它会定期将输出的日志通过syslog输出，同时根据是否是守护模式，设置了输出函数，是通过syslog输出，还是直接输出的终端，以后将进入这个函数进行分析*/

log_pid = log_init(program_name, DEFAULT_AREA_SIZE,

      daemonize ? log_do_log_daemon : log_do_log_std, NULL);

if (log_pid < 0)

exit(ISCSI_ERR);

/* do not allow ctrl-c for now... */

/* 设置信号捕捉函数*/

sa_new.sa_handler = catch_signal;

sigemptyset(&sa_new.sa_mask);

sa_new.sa_flags = 0;

sigaction(SIGINT, &sa_new, &sa_old );

sigaction(SIGPIPE, &sa_new, &sa_old );

sigaction(SIGTERM, &sa_new, &sa_old );

//获取系统sys目录

sysfs_init();

//idbm初始化

        /*open-iscsi将targets的发现和nodes信息是通过dbm数据库进行组织的，所以运行open-iscsi还需要安装dbm数据库，其实就是libgdbm.so等几个库文件，idbm_init初始化需要链接到库文件中dbm的操作函数*/

if (idbm_init(iscsid_get_config_file)) {

log_close(log_pid);

exit(ISCSI_ERR);

}

 /*设置创建文件的mask值，这里只有运行用户的rw权限生效*/

umask(0177);

mgmt_ipc_fd = -1;

control_fd = -1;

daemon_config.initiator_name = NULL;

daemon_config.initiator_alias = NULL;

//建立一个本地socket进行进程间的通信

/*在open-iscsi中，管理程序和守护进行的通信是通过一个unix本地socket进行的*/

if (( mgmt_ipc_fd = mgmt_ipc_listen()) < 0) {

log_close(log_pid);

exit(ISCSI_ERR);

}

//创建守护进程

if (daemonize) {

char buf[64];

int fd = -1;

if (pid_file) { //创建pid文件

fd = open(pid_file, O_WRONLY|O_CREAT, 0644);

if (fd < 0) {

log_error("Unable to create pid file");

log_close(log_pid);

exit(ISCSI_ERR);

}

}

pid = fork(); //创建一个子进程

if (pid < 0) {

log_error("Starting daemon failed");

log_close(log_pid);

exit(ISCSI_ERR);

} else if (pid) { /*父进程退出，子进程被init进程接管*/

log_error("iSCSI daemon with pid=%d started!", pid);

exit(0);

}

                 

                /*控制通信*/

if (( control_fd = ipc->ctldev_open()) < 0) {

log_close(log_pid);

exit(ISCSI_ERR);

}

                

                /*切换目录到根目录*/

if ( chdir("/") < 0)

log_debug(1, "Unable to chdir to /");

                /*将守护进程的进程id写入创建的pid文件*/

if (fd > 0) {

if (lockf(fd, F_TLOCK, 0) < 0) { //锁住pid文件

log_error("Unable to lock pid file");

log_close(log_pid);

exit(ISCSI_ERR);

}

if (ftruncate(fd, 0) < 0) { //将文件清空

log_error("Unable to truncate pid file");

log_close(log_pid);

exit(ISCSI_ERR);

}

sprintf(buf, "%d\n", getpid());

if (write(fd, buf, strlen(buf)) < 0) { //写入守护进程pid编号

log_error("Unable to write pid file");

log_close(log_pid);

exit(ISCSI_ERR);

}

}

              /*主要是对stdin stdout stderr重定向到/dev/null*/

daemon_init(); //守护进程初始化

} 

        else { /*非守护进程模式，即iscid运行在前端*/

if ((control_fd = ipc->ctldev_open()) < 0) {

log_close(log_pid);

exit(1);

}

}

        /*设置用户和组id*/

if (uid &&  setuid(uid) < 0)

perror("setuid\n");

if (gid &&  setgid(gid) < 0)

perror("setgid\n");

// 初始化daemon_config结构

memset(&daemon_config, 0, sizeof (daemon_config));

daemon_config.pid_file = pid_file;

daemon_config.config_file = config_file;

daemon_config.initiator_name =                        cfg_get_string_param(initiatorname_file, "InitiatorName");

if (daemon_config.initiator_name == NULL)

missing_iname_warn(initiatorname_file);

/* optional InitiatorAlias */

daemon_config.initiator_alias =

cfg_get_string_param(initiatorname_file,

     "InitiatorAlias");

if (!daemon_config.initiator_alias) {

memset(&host_info, 0, sizeof (host_info));

if (uname(&host_info) >= 0) {

daemon_config.initiator_alias =

strdup(host_info.nodename);

}

}

log_debug(1, "InitiatorName=%s", daemon_config.initiator_name ?

 daemon_config.initiator_name : "NOT SET");

log_debug(1, "InitiatorAlias=%s", daemon_config.initiator_alias);

pid = fork();//创建一个子进程

if (pid == 0) {

int nr_found = 0;

/* child */

//查找是否有会话记录存在，进行同步

iscsi_sysfs_for_each_session(NULL, &nr_found, sync_session);

exit(0);

} else if (pid < 0) {

log_error("Fork failed error %d: existing sessions"

  " will not be synced", errno);

} else

reap_inc();

iscsi_initiator_init(); //设置会话回调函数

increase_max_files(); //设置文件限制值

discoveryd_start(daemon_config.initiator_name); //在查找已存在的记录目录

/* oom-killer will not kill us at the night... */

if (oom_adjust())

log_debug(1, "can not adjust oom-killer's pardon");

/* we don't want our active sessions to be paged out... */

if (mlockall(MCL_CURRENT | MCL_FUTURE)) {

log_error("failed to mlockall, exiting...");

log_close(log_pid);

exit(ISCSI_ERR);

}

        /*设置一些全局变量*/

actor_init();

        /*通过poll等待链接*/

event_loop(ipc, control_fd, mgmt_ipc_fd);

/*释放分配的内存*/

idbm_terminate();

sysfs_cleanup();

ipc->ctldev_close();

/*关闭本地通信socket*/

mgmt_ipc_close(mgmt_ipc_fd);

/*释放分配的内存*/

if (daemon_config.initiator_name)

free(daemon_config.initiator_name);

if (daemon_config.initiator_alias)

free(daemon_config.initiator_alias);

/*释放会话*/

free_initiator();

iscsid_shutdown();

return 0;

}