Greenplum数据库安装手册 V1.0
一，安装准备
1.1基础准备
| 名称 | 安装文件 | 备注 |
| 中文补丁 | fonts-chinese-3.02-12.el5.noarch.rpm |
|
| FTP服务器 | vsftpd-1.1.3-8.i386.rpm | 可选，方便于文件存取 |
| XFS文件系统补丁 | kmod-xfs-0.4-2.x86_64.rpm | Greenplum推荐在LINUX上使用XFS文件系统，在SOLARIS上使用ZFS文件系统。 |
| xfsprogs-2.9.4-1.el5.centos.x86_64.rpm | ||
| ETA YS257589补丁 | kernel-2.6.18-194.26.1.el5.tar | 安装说明： |
| Sysstat安装包 | sysstat-7.0.2-11.el5.x86_64.rpm | 可选，安装后可使用iostat、sar等监控命令 |
| nmon监控工具 | nmon | 选择指定版本，拷贝到/bin目录下即可运行 |
Rpm类型系统补丁文件采用rpm工具安装，举例：
rpm -ivhfonts-chinese-3.02-12.el5.noarch.rpm
如果需要检查该补丁是否已经安装，同样适用rpm工具检查：
rpm -qafonts-chinese-3.02-12.el5
1.1.2 Greenplum安装介质（参考）
GP安装介质需要从共享盘上下载对应的版本。
| 名称 | 安装文件 | 备注 |
| Greenplum主安装包 | greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin | 安装前请先确定所要安装的具体版本。 |
| Greenplum Web Monitor工具安装包 | greenplum-perfmon-web-4.1.1.1-build-1-RHEL5-x86_64.bin | 同上 |
1.1.3 操作系统建议
Segment节点建议不安装X-Windows, Gnome, KDE, and Printers。
1.2安装前准备
Greenplum数据库系统常见的拓扑图如上图所示，由Master主机和Segment主机组成。Master主机和Segment主机之间会组成一个内部网络（LAN）。为了充分发挥Greenplum数据库并行处理的性能，对网络带宽要求较高。服务器会配置多个网卡，内部网需要配置多个网段的IP。需要对外连接的服务器需配置外部IP。
建议在Greenplum数据库系统安装之前，把网络配置规划好。
首先，需要评估目标数据库数据所需要的空间容量。建议了解客户搭建Greenplum数据库的具体应用。
举例：估计数据库所需空间为U，数据库需要启用Mirror，磁盘阵列总可用空间为D（Raid之后）。空间规划服务和如下公式：
2 * U + U / 3 = D * 70%
磁盘空间D平均分配到各个Segment服务器上。
Master需要相应的空间。使用服务器内置硬盘的计算方式类似。
1.1.6 数据库实例规划
规划每个Segment服务器上建立的数据库实例的数量（instance数量），通常建议每2个CPU内核（core）对应一个数据库实例。
如：2*4核CPU的服务区，可配置4个实例。
1.3操作系统准备
1.3.1修改主机名
修改各台主机的主机名称。一般建议的命名规则如下：
Master：mdw
Standby Master：smdw
Segment Host：sdw1、sdw2……sdwn
修改操作：
1、hostname mdw
2、修改 /etc/sysconfig/network 配置文件中的hostname
1.3.2修改/etc/hosts文件
通常Master和Standby Master主机都配置外部IP和内部IP。Segment主机可只配置内部IP。所有主机的hosts文件内容必须保持一致。
如下为配置例子：
21.104.138.21 mdw-ext1
192.168.1.254 mdw-1 mdw
192.168.2.254 mdw-2
192.168.3.254 mdw-3
192.168.4.254 mdw-4
192.168.5.254 mdw-5
192.168.6.254 mdw-6
21.104.138.22 smdw-ext1
192.168.1.253 smdw-1 smdw
192.168.2.253 smdw-2
192.168.3.253 smdw-3
192.168.4.253 smdw-4
192.168.5.253 smdw-5
192.168.6.253 smdw-6
21.104.138.23 sdw1-ext1 loghost
192.168.1.1 sdw1-1 sdw1
192.168.2.1 sdw1-2
192.168.3.1 sdw1-3
192.168.4.1 sdw1-4
192.168.5.1 sdw1-5
192.168.6.1 sdw1-6
21.104.138.24 sdw2-ext1
192.168.1.2 sdw2-1 sdw2
192.168.2.2 sdw2-2
192.168.3.2 sdw2-3
192.168.4.2 sdw2-4
192.168.5.2 sdw2-5
192.168.6.2 sdw2-6
21.104.138.25 sdw3-ext1
192.168.1.3 sdw3-1 sdw3
192.168.2.3 sdw3-2
192.168.3.3 sdw3-3
192.168.4.3 sdw3-4
192.168.5.3 sdw3-5
192.168.6.3 sdw3-6
21.104.138.26 sdw4-ext1
192.168.1.4 sdw4-1 sdw4
192.168.2.4 sdw4-2
192.168.3.4 sdw4-3
192.168.4.4 sdw4-4
192.168.5.4 sdw4-5
192.168.6.4 sdw4-6
1.3.3关闭相关服务
【涉及机器】：所有服务器
关闭防火墙
service iptables save
service iptables stop
chkconfig iptables off
service ip6tables save
service ip6tables stop
chkconfig ip6tables off
1.3.4修改系统参数（Redhat）
【涉及机器】：所有服务器
使用root用户进行修改，重启后生效。
1.3.5修改系统参数/etc/sysctl.conf
（Sysctl是一个允许您改变正在运行中的Linux系统的接口。它包含一些 TCP/IP 堆栈和虚拟内存系统的高级选项）
kernel.shmmax =500000000
kernel.shmmni = 4096
kernel.shmall =4000000000
kernel.sem = 250 512000100 2048
kernel.sysrq = 1
kernel.core_uses_pid =1
kernel.msgmnb = 65536
kernel.msgmax = 65536
net.ipv4.tcp_syncookies= 1
net.ipv4.ip_forward = 0
net.ipv4.conf.default.accept_source_route= 0
net.ipv4.tcp_tw_recycle= 1
net.ipv4.tcp_max_syn_backlog= 4096
net.ipv4.conf.all.arp_filter= 1
net.ipv4.conf.default.arp_filter= 1
net.core.netdev_max_backlog= 10000
vm.overcommit_memory =2
kernel.msgmni = 2048
net.ipv4.ip_local_port_range= 1025 65535
1.3.6修改系统参数/etc/security/limits.conf
（ Linux PAM（插入式认证模块，Pluggable Authentication Modules）中 pam_limits.so 的配置文件）
* soft nofile 65536
* hard nofile 65536
* soft nproc 131072
* hard nproc 131072
1.3.7修改磁盘预读参数
在参数文件/etc/rc.d/rc.local中增加
DELL：blockdev --setra 16384 /dev/sd* （红色部分为硬盘设备标识）
HP：blockdev --setra 16384 /dev/cciss/c?d?*
1.3.8修改配置/boot/grub/menu.lst
（Deadline scheduler 用 deadline 算法保证对于既定的 IO 请求以最小的延迟时间，从这一点理解，对于 DSS 应用应该会是很适合的）
增加elevator=deadline
1.3.9修改配置/etc/sysconfig/language
增加RC_LANG=en_US.UTF-8
1.4启动IPMI服务
（IPMI（Intelligent Platform Management Interface）即智能平台管理接口是使硬件管理具备“智能化”的新一代通用接口标准。如果没有安装相关服务，建议安装）
service ipmi start
chkconfig ipmi on
1.5修改启动配置
修改/etc/inittab
id:3:initdefault: （修改运行级别为3，多用户命令行模式）
1.6关闭非必要的服务
chkconfig avahi-daemonoff
chkconfigavahi-dnsconfd off
chkconfig conman off
chkconfig bluetooth off
chkconfig cpuspeed off
chkconfigsetroubleshoot off
chkconfig hidd off
chkconfig hplip off
chkconfig isdn off
chkconfig kudzu off
chkconfig yum-updatesdoff
二， 建立数据目录
2.1 Linux系统采用XFS文件系统
2.1.1 Master 和Standby Master主机
1、分区及格式化：
mkfs.xfs /dev/sda3 或者 mkfs -t xfs /dev/sda3
mkdir -p /data/master （Master数据目录）
2、在/etc/fstab文件中增加
/dev/sda3/data xfs rw,noatime,inode64,allocsize=16m 1 1
2.1.2 Segment 主机
1、分区及格式化：
mkfs.xfs /dev/sda2 或者 mkfs -t xfs /dev/sda2
mkfs.xfs /dev/sdb2
mkdir /data1 （Segment数据目录，可根据实例和分配空间不同规划不同的目录）
mkdir /data2
2、在/etc/fstab文件中增加
/dev/sda2/data1 xfs rw,noatime,inode64,allocsize=16m 1 1
/dev/sdb2/data2 xfs rw,noatime,inode64,allocsize=16m 1 1
三， Solaris系统采用ZFS文件系统
zpool create -f data \
raidz c1t2d0 c1t3d0c1t4d0 c1t5d0 c1t6d0 c1t7d0 \
raidz c1t9d0 c1t10d0c1t11d0 c1t12d0 c1t13d0 c1t14d0 \
spare c1t8d0 c1t15d0
zfs createdata/gpdb_master
zfs create data/local
zfs setmountpoint=/usr/local data/local
四， Master安装Greenplum
4.1运行安装文件
【安装机器】：Master主机
如果是压缩文件则先解压：
unzip greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.zip
/bin/bash greenplum-db-4.1.1.3-build-4-RHEL5-x86_64.bin
安装完成后修改root用户home的~/.bashrc配置文件，增加
source /usr/local/greenplum-db/greenplum_path.sh
4.2配置hostname文件（用于建立多机信任）
建议：在安装目录下新建gpconfigs目录。
1、包含所有master和segment主机名和别名的文件。
all_hosts:
mdw
mdw-1
mdw-2
mdw-3
mdw-4
mdw-5
mdw-6
smdw
smdw-1
smdw-2
smdw-3
smdw-4
smdw-5
smdw-6
sdw1
sdw1-1
sdw1-2
sdw1-3
sdw1-4
sdw1-5
sdw1-6
sdw2
sdw2-1
sdw2-2
sdw2-3
sdw2-4
sdw2-5
sdw2-6
sdw3
sdw3-1
sdw3-2
sdw3-3
sdw3-4
sdw3-5
sdw3-6
sdw4
sdw4-1
sdw4-2
sdw4-3
sdw4-4
sdw4-5
sdw4-6
2、包含所有segment主机名和别名的文件。
all_segs:
sdw1
sdw1-1
sdw1-2
sdw1-3
sdw1-4
sdw1-5
sdw1-6
sdw2
sdw2-1
sdw2-2
sdw2-3
sdw2-4
sdw2-5
sdw2-6
sdw3
sdw3-1
sdw3-2
sdw3-3
sdw3-4
sdw3-5
sdw3-6
sdw4
sdw4-1
sdw4-2
sdw4-3
sdw4-4
sdw4-5
sdw4-6
3、包含所有master和segment的单一主机名。
all_hosts_single:
mdw
smdw
sdw1
sdw2
sdw3
sdw4
4、包含standby master和所有segment的单一主机名。
stby_all_segs_single:
smdw
sdw1
sdw2
sdw3
sdw4
5、包含所有segment的单一主机名。
all_segs_single:
sdw1
sdw2
sdw3
sdw4
五， 建立多机信任
5.1 root用户建立多机信任
source /usr/local/greenplum-db/greenplum_path.sh
建立多机信任：
gpssh-exkeys -f ./all_hosts
5.2 建立用户和组
gpssh -f ./all_hosts
=>groupadd -g 3030gpadmin
=>groupadd -g 3040gpmon
=>useradd -u 3030 -ggpadmin -m -s /bin/bash gpadmin
=>useradd -u 3040 -ggpmon -m -s /bin/bash gpmon
=>echo gpadmin |passwd gpadmin --stdin
=>echo gpmon |passwd gpmon --stdin
=>chown -Rgpadmin:gpadmin /data （修改数据目录用户和组）
5.3 修改gpadmin用户配置
【Master和Standby Master主机】：
修改 ~/.bashrc文件，添加如下内容：
source /usr/local/greenplum-db/greenplum_path.sh
MASTER_DATA_DIRECTORY=/data/master/gpseg-1
exportMASTER_DATA_DIRECTORY （gpstart默认启动的目录）
【Segment主机】：
修改 ~/.bashrc文件，添加如下内容：
source /usr/local/greenplum-db/greenplum_path.sh
5.4 gpadmin用户建立多机信任
使用gpadmin用户在Master主机上操作
gpssh-exkeys -f ./all_hosts
六， 时钟同步
使用root用户进行操作，涉及所有服务器。
Greenplum推荐使用NTP（Network Time Protocol）同步各台主机的时钟。建议设置一台独立的时钟服务器。
1、Master服务器配置与时钟服务器同步。修改配置文件/etc/ntp.conf后，启动ntpd服务。
举例：
配置文件增加：server 10.6.220.20
启动服务：
service ntpd start
chkconfig ntpd on
如果没有独立的时钟服务器，则应该以Master服务器做内部的时钟服务器，Master就可以不用修改ntp.conf配置文件，直接启动ntpd服务即可。
2、所有Segment服务器优先与Master服务器同步，其次与Standby Master服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。
配置文件增加：
server mdw prefer
server smdw
启动服务：
service ntpd start
chkconfig ntpd on
3、Standby Master服务器优先与Master服务器，其次与始终服务器同步。修改配置文件/etc/ntp.conf后，重启ntpd服务。
配置文件增加：
server mdw prefer
server 10.6.220.20 （时钟服务器举例）
启动服务：
service ntpd start
chkconfig ntpd on
如果没有独立的时钟服务器，第二行不用配置。
4、检查时钟同步结果（需要等几分钟，时钟才会自动同步）
gpssh -f ./all_hosts_single
=>date （查看各台服务器时间是否一致）
七， 其他机器安装Greenplum
7.1方法一（4.0版本以上支持，推荐使用）
在Master主机上，使用root用户操作：
gpseginstall -f ./all_hosts_single-p gpadmin
7.2方法二（4.0版本一下使用）
在Master主机上，使用root用户操作：
cd /usr/local （安装目录）
tar -cvf /usr/local/gp.tar greenplum-db-3.3.7.6 （tar安装文件目录）
gpscp -f ./stby_all_segs_single /home/gpadmin/gp.tar =:/usr/local
gpssh -f ./stby_all_segs_single
=>tar --directory /usr/local -xvf /usr/local/gp.tar
=>ls /usr/local/greenplum-db-3.3.7.6
=>ln -s /usr/local/greenplum-db-3.3.7.6 /usr/local/greenplum-db
=>chown -Rgpadmin:gpadmin /usr/local/greenplum-db
=>rm /usr/local/gp.tar
八， 系统检查
在Master上使用gpadmin用户登录执行系统检查
8.1参数配置检查
gpcheck -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -mmdw -s smdw
核对并修改下你感应系统参数。
8.2性能检查
8.2.1网络性能检查
gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -rN -d /tmp > checknetwork.out
8.2.2磁盘性能检查
gpcheckperf -f /usr/local/greenplum-db/gpconfigs/all_hosts_single -rds -D -d /data1/primary -d /data2/primary -d /data1/mirror-d /data2/mirror > checkio.out
检查磁盘IO的目标目录是数据库的数据文件目录，测试工具会写入系统内存的两倍大小的数据量。
九，始化数据库
在Master上使用gpadmin用户登录执行系统检查
9.1配置文件
请注意，Greenplum3.x版本和4.x版本的初始化配置文件格式存在差异，配置时建议从$GPHOME/docs/cli_help/gpconfigs/ 目录中获取样例文件，然后进行修改。
9.1.1Greenplum4.x版本
获取配置文件样例：
cp $GPHOME/docs/cli_help/gpconfigs/gpinitsystem_config $GPHOME/gpconfigs/
修改配置文件：
ARRAY_NAME="YSGreenplum DW"
SEG_PREFIX=gpseg
PORT_BASE=40000
declare -aDATA_DIRECTORY=(/data1 /data1 /data1 /data1) //主实例
MASTER_HOSTNAME=mdw //主机名
MASTER_DIRECTORY=/data/master
MASTER_PORT=5432
TRUSTED SHELL=ssh
CHECK_POINT_SEGMENT=8
ENCODING=UNICODE
MIRROR_PORT_BASE=50000
REPLICATION_PORT_BASE=41000
MIRROR_REPLICATION_PORT_BASE=51000
declare -aMIRROR_DATA_DIRECTORY=(/data2 /data2 /data2 /data2) //备实例
MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs //segment主机列表文件
9.1.2 Greenplum3.x版本
获取配置文件样例：
cp $GPHOME/docs/cli_help/gpconfigs/gp_init_config $GPHOME/gpconfigs/
修改配置文件：
ARRAY_NAME="GreenplumDatabase"
MACHINE_LIST_FILE=/usr/local/greenplum-db/gpconfigs/all_segs（segment列表文件）
SEG_PREFIX=gp
PORT_BASE=50000
declare -aDATA_DIRECTORY=(/data/primary /data/primary/data/primary /data/primary)
MASTER_HOSTNAME=mdw
MASTER_DIRECTORY=/data/master
MASTER_PORT=5432
TRUSTED_SHELL=ssh
CHECK_POINT_SEGMENTS=8
ENCODING=UNICODE
MIRROR_PORT_BASE=60000 （启动Mirror实例）
declare -aMIRROR_DATA_DIRECTORY=(/data/mirror /data/mirror/data/mirror /data/mirror)
9.2初始化数据库
gpinitsystem -c /usr/local/greenplum-db/gpconfigs/gpinitsystem_config-s smdw
如果数据库初始化失败，则使用初始化过程中生成的一个Backout脚本清除安装失败留下垃圾文件和目录（不一定能成功）。
~/gpAdminLogs/backout_gpinitsystem_<user>_<timestamp>
9.3修改访问权限
修改Master数据目录（MASTER_DATA_DIRECTORY）下pg_hba.conf文件。需要了解客户实际情况，有多少客户端的IP地址以及角色需要访问数据库。举例如下：
host all gpadmin 10.32.38.0/16 trust
数据库名 角色名 客户端IP范围 认证方法
数据库名：可指定具体的数据库名称，也可使用all；
角色名：可指定具体的数据库角色名称，也可使用all；
IP范围格式：IP 地址/CIDR，如：10.32.38.0/16；255.0.0.0表示 IPv4 CIDR 掩码长度 8，255.255.255.0表示 IPv4 CIDR 掩码长度 24，而 255.255.255.255 表示 CIDR 掩码长度 32；32就表示指定IP，24就表示小子网。
修改完后数据库重载参数文件：
gpstop -u
九， 安装Performance Monitor
9.1安装PerformanceMonitor数据收集Agent
gpadmin用户执行如下步骤。
1、使用gpperfmon_install命令，Greenplum安装完成后已经包含该命令。安装后会建立名为gpperfmon的数据库，默认使用gpmon用户。命令行中红色部分为系统用户gpmon的密码。
gpperfmon_install--enable --password gpmon --port 5432
2、重启GP数据库
gpstop -r
3、确认监控采集进程是否已经启动。
ps -ef |grep gpmmon
4、确认Performance Monitor数据库写入数据是否正常，检查是否有记录写入。
psql -d gpperfmon -c'select * from system_now;'
5、拷贝Master主机拷贝配置文件到Standby Master的相应目录
gpscp -h smdw$MASTER_DATA_DIRECTORY/pg_hba.conf =:$MASTER_DATA_DIRECTORY/
gpscp -h smdw ~/.pgpass=:~/
9.2安装PerformanceMonitor控制台
Performance Monitor控制台通常安装在Master主机上，也可以安装到独立的服务器上。由于安装目录权限问题，建议先使用root用户执行。
1、运行安装包
安装包解压：
unzip greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.zip
运行安装文件：
/bin/bash greenplum-perfmon-web-4.1.1.3-build-4-RHEL5-x86_64.bin
Monitor安装目录属主修改：
chown -Rgpadmin:gpadmin /usr/local/greenplum-perfmon-web-4.1.1.3
2、修改Master主机root，gpadmin和gpmon用户的.bashrc配置，增加
source /usr/local/greenplum-perfmon-web-4.1.1.3/gpperfmon_path.sh
3、配置Performance Monitor控制台，首先切换到gpadmin用户
su - gpadmin
gpperfmon --setup
按照提示执行：
（1）输入实例名字，每次可设置一个实例，可多次设置。
（2）Master服务器是否远程服务器，如果安装在Master则选择”N”。
（3）输入显示名称。
（4）输入数据库端口号（默认5432）。
（5）输入Web Server端口号（默认28080）。
（6）设置SSL连接，选择Y。
（7）其他信息可选信息按实际填写。
4、启动Performance Monitor控制台
gpperfmon --start 或者
gpperfmon --start"实例名"
5、测试Performance Monitor前台连接
打开IE输入Performance Monitor控制台地址
https://mdw:28080/
十， 附录
10.1多次初始化
Greenplum数据库可以多次初始化，前提是每次初始化的数据目录（Master和Segment的数据目录）必须不相同。
gpstart和gpstop可以通过-d参数指定Master数据库目录，启动不同的数据库。如果不指定-d参数，系统则默认使用~/.bashrc文件中所设置的MASTER_DATA_DIRECTORY。
同时只能启动一个GP数据库。
10.2安装后修改数据库参数（非必要）
Greenplum数据库正常安装以后，数据库参数配置允许根据客户的实际情况进行修改。一般情况下不建议主动修改数据库参数。因此本步骤暂时放到附录中。
数据库参数修改方法是修改数据目录（MASTER_DATA_DIRECTORY）下的postgresql.conf配置文件。然后根据参数的定义，重新装载配置文件或者重启数据库。
说明：
Local是指每台服务器的配置文件都需要修改；
Master是指只需要在master主机上修改；
Restart是指需要重启数据库；
Reload是指运行gpstop –u重新装载配置参数即可。
| 参数名称 | 参数类型 | 参考值 | 设置说明 |
| max_connections | integer | 200 | Local，restart |
| max_prepared_transactions | integer | 200 | Local，restart |
| gp_interconnect_setup_timeout | String | 3min | Master，reload |
| max_fsm_pages | integer | 200000 | Local，restart |
| max_fsm_relations | integer | 1000 | Local，restart |
| gp_vmem_protect_limit | integer | 8192 | Local，restart |
| work_mem | String | 32MB | Master，reload |
| stats_queue_level | boolean | off | Master，reload |
10.3安装后数据测试
数据库安装完成后，需要进行数据库建立、数据装载、查询和关键SQL语句的测试。
1、创建数据库：createdb -T template1 testdb
2、启动gpfdist准备导数：
nohup gpfdist -p 8088-d /data/testdata -l /data/testdata/gpfdist_test.log &
启动后，检查gpfdist进程状态：
ps -ef |grep gpfdist
3、创建外部表和库表：
drop external table ifexists YS_CG_LOC_02_ext ;
create external table YS_CG_LOC_02_ext
(
N_ROWS numeric(8),
SOURCE_TYPE VARCHAR(2),
CALL_TYPE numeric(3),
IMSI_numeric VARCHAR(15),
MSISDN VARCHAR(19),
OTHER_PARTY VARCHAR(11),
SDATE timestamp,
STAT_DATE numeric(8),
PERIOD_TIMEnumeric(2),
CALL_DURATION numeric(5),
DURATION60 numeric(3),
DURATION6 numeric(4),
MSRN VARCHAR(11),
MSC VARCHAR(10),
LAC VARCHAR(4),
CELL_ID VARCHAR(4),
OTHER_LAC VARCHAR(4),
OTHER_CELL_ID VARCHAR(2),
TRUNK_GROUPOUT VARCHAR(7),
TRUNK_GROUPIN VARCHAR(7),
FILE_NO VARCHAR(20),
STOP_CAUSE VARCHAR(1),
ORIGIN_NO VARCHAR(15),
DEAL_TIME VARCHAR(10),
AREA_ID numeric(7),
VISIT_AREA_ID numeric(7),
CALLED_AREA_ID numeric(7),
CALLED_VISIT_AREA_IDnumeric(7),
PURVIEW_AREA_ID numeric(7),
ROAM_TYPE numeric(1),
EDGE_FLAG CHAR(1),
A_ASP numeric(1),
A_BRAND_ID char(2),
A_SERV_TYPE VARCHAR(2),
TERM_TYPE numeric(7),
B_SERV_TYPE VARCHAR(2),
B_HOME_TYPE CHAR(1),
OTHER_ASP numeric(2),
C_SERV_TYPE VARCHAR(2),
CARRIER_TYPE numeric(4),
LONG_TYPE numeric(9),
USER_ID numeric(16),
PAY_MODE char(1),
CHANNEL_NO VARCHAR(4),
CFEE numeric(7),
LFEE numeric(6),
OTHERFEE numeric(5),
REAL_CFEE numeric(7),
REAL_LFEE numeric(6),
REAL_OTHERFEE numeric(5),
FREETIME_ITEM numeric(3),
FREETIME numeric(6),
VPN_ID varchar(16),
VPN_FLAG CHAR(1),
FREE_CODE VARCHAR(40),
FREETIME_ITEM2 numeric(3),
FREETIME2 numeric(5),
FREETIME_ITEM3 numeric(3),
FREETIME3 numeric(5),
FREETIME_ITEM4 numeric(3),
FREETIME4 numeric(4),
FILE_NAME VARCHAR(36),
DAY_numeric numeric(2),
ORIGIN_NO_AREA_ID varchar(8),
ORIGIN_NO_ASP char(2),
ORIGIN_NO_TERM_TYPE varchar(7),
CDR_NO varchar(3),
B_BRAND_ID numeric(2),
B_SERVICE_TYPE2 CHAR(2),
FREE_CODE1 VARCHAR(10),
FREE_FEE1 numeric(5),
FREE_CODE2 VARCHAR(1),
FREE_FEE2 numeric(1),
FREE_CODE3 VARCHAR(1),
FREE_FEE3 numeric(1),
FREE_CODE4 VARCHAR(1),
FREE_FEE4 numeric(1),
CDR_TYPE numeric(1),
IMEI VARCHAR(16),
FIRST_CFEE numeric(7),
FIRST_LFEE numeric(6),
FIRST_OFEE numeric(5),
TPREMARK VARCHAR(89),
SERVICE_TYPE VARCHAR(3),
SERVICE_CODE VARCHAR(4),
RATE_IND CHAR(1)
)LOCATION(
'gpfdist://mdw:8088/YS_CG_loc*.csv'
)
FORMAT 'csv' (delimiter',' null '')
ENCODING 'GB18030'
--LOG ERRORS INTO YS_CG_LOC_02_ext_errSEGMENT REJECT LIMIT 1000 ROWS;
drop table if exists YS_CG_LOC_02;
create table YS_CG_LOC_02( like YS_CG_LOC_02_ext)
with(appendonly=true,orientation=column,compresslevel=5,compresstype=zlib)
distributed by(MSISDN);
数据文件见附件：
4、导入数据测试：
insert into YS_CG_LOC_02select * from YS_CG_LOC_02_ext;
导入数据过程中可使用nmon命令监控Segment Host的IO情况以及CPU使用情况。
5、执行检查的查询操作：
select count(*) from YS_CG_LOC_02;