mysql infobright load_infobright的load加载
Infobright有个高性能的数据装载机，和标准的mysql装载机不同，infobright装载机更注重的是速度，但是支持的load语法要比mysql的要少，只支持变长文本。IEE还支持mysql装载机和insert。
默认装载机(Default Loader)：
ICE版本只支持infobright装载机(txt_variable)
IEE版本默认是使用mysql装载机，拥有更强大的错误处理能力。但是不会像infobright装载机那么快。通过在mysql中修改环境变量@bh_dataformat来切换不同的装载机，例如：
使用变长文本数据的infobright装载机：
mysql> set@bh_dataformat = 'txt_variable';
使用二进制数据的infobright装载机：
mysql> set@bh_dataformat = 'binary';
mysql装载机：
mysql> set@bh_dataformat = 'mysql';
infobright装载机语法(Infobright Loader Syntax)：
infobright只支持下面简单语法。
LOAD DATA INFILE'/full_path/file_name'
INTO TABLEtbl_name
[FIELDS
[TERMINATED BY'char']
[ENCLOSED BY'char']
[ESCAPED BY'char']
];
数据装载完默认是自动提交的。如果想导入完检查数据后再提交，可以通过Set AUTOCOMMIT=0命令将自动提交关掉。这样的话在完成导入完需要手动支持commit提交或执行rollback命令回滚。
参数(FIELDS Clause)
FIELDS选项是可选的，如果不指定的话默认值如下：
CLAUSE DEFAULTVALUE
FIELDSTERMINATED BY ';' (semicolon)
FIELDS ENCLOSEDBY '"' (double quote)
FIELDS ESCAPEDBY '' (none)
而mysql loader不指定默认的参数为：
CLAUSE DEFAULTVALUE
FIELDSTERMINATED BY '\t' (tab)
FIELDS ENCLOSEDBY '' (none)
FIELDS ESCAPEDBY '\\' (\)
因为默认值不同，所以不加FIELDS的情况下，直接把mysql表导出，再导入到infobright中是不成功的。还有就是FIELDS分隔符必须是一个单一的字符。Mysql loader可以为多个字符。
FIELDSTERMINATED BY
列分隔符可以用逗号，分号，竖线，制表符等等，但必须都是一个字符。重要的是列分隔符不会出现在真实数据中(除非设置了escaped或者enclosed)
FIELDS ENCLOSEDBY
是用于将字符类型的字段用指定字符包围起来。默认是双引号。如果不想使用可以设置为NULL值。如果设置了ENCLOSED需要保证该字符没有在实际数据中出现(除非设置了escaped)
FIELDS ESCAPEDBY
如果TERMINATED指定的列分隔符出现在真实数据里，那么它必须被ESCAPED指定的字符转义，或者被ENCLOSED设置的字符将整个字段包围起来。
举个例子：
文本里有一行数据1,one,two or three,1234
1是一个字段，one,two or three是第二个字段，1234是第三个字段
要想把这行数据导入到数据表，要么出现在字符串里的分隔符转义，要么把包含分隔符的整个列包围起来。因为如果设置逗号为分隔符，infobright不知道one与two之间的逗号到底是分隔符还是真实的字符
文本和load命令：
1,one\, two or three,1234
LOAD DATA INFILE '/usr/tmp/file1.txt' INTO TABLE test_table1 FIELDS
TERMINATED BY',' ENCLOSED BY 'NULL' ESCAPED BY '\\';
这样的文本就可以满足要求，分隔符是逗号，而且字符串也没有设置包围的字符，one与two之间的逗号也被加了转义，可以成功导入。
另一种方法：
1,"one, two or three",1234
LOAD DATA INFILE '/usr/tmp/file2.txt' INTO TABLE test_table1 FIELDS
TERMINATED BY',' ENCLOSED BY '"';
这样文本也满足要求，分隔符为逗号，字符串中虽然出现了分隔符，但是字符串被双引号包围了，所以不用进行转义也可以识别，因为ESCAPED默认值是空，所以可以省略。也可以成功导入。
mysql> select* from test_table1;
+------+-------------------+-----------+
| id | textfield| numerical |
+------+-------------------+-----------+
| 1 | one, twoor three | 1234 |
| 1 | one, twoor three | 1234 |
+------+-------------------+-----------
FIELDS ESCAPEDBY
刚才介绍了如果列分隔符出现实际数据中应该怎么处理，那么ENCLOSED的符号出现在真实数据中呢。下面举个例子one“and” two是文本字段
1,"one\"and\" two",1234
LOAD DATA INFILE'/usr/tmp/file3.txt' INTO TABLE test_table1 FIELDS
TERMINATED BY',' ENCLOSED BY '"' ESCAPED BY '\\';
分隔符是逗号，字符串包围符号是双引号，包围符出现在了真实数据中，所以必须有转义符才能被infobright识别，通过设置ESCAPED。
mysql> select* from test_table1;
+------+-------------------+-----------+
| id | textfield| numerical |
+------+-------------------+-----------+
| 1 | one, twoor three | 1234 |
| 1 | one, twoor three | 1234 |
| 1 | one"and" two | 1234 |
+------+-------------------+-----------+
上面的两个例子说明了，我们在数据清洗时候需要对特殊字符进行转义，在导入时才会被infobright识别。
ESCAPE CHARACTERS
有的文本包含转义字符，这些设置ESCAPED，否则会作为字符串载入
例如：
2,other\t\t\ttext,4567
看看加与不加的区别
LOAD DATA INFILE'/usr/tmp/file4.txt' INTO TABLE test_table1 FIELDS
TERMINATED BY',' ENCLOSED BY 'NULL' ESCAPED BY '\\';
LOAD DATA INFILE'/usr/tmp/file4.txt' INTO TABLE test_table1 FIELDS
TERMINATED BY',' ENCLOSED BY 'NULL';
mysql> select* from test_table1;
+------+--------------------------------+-----------+
| id | textfield| numerical |
+------+--------------------------------+-----------+
| 2 | other text| 4567 |
| 2 | other\t\t\ttext | 4567 |
+------+--------------------------------+-----------+
2 rows in set(0.00 sec)
最后需要注意的是，infobright装载机问题，在相同参数的情况导入再导出，数据会发生变化。下面举个例子说明infobright装载机和mysql的处理的区别。
CREATE TABLE`test1` (
`n` char(10) COLLATE latin1_bin DEFAULT NULL,
`m` char(10) COLLATE latin1_bin DEFAULT NULL
) ENGINE=BRIGHTHOUSE DEFAULT CHARSET=latin1 COLLATE=latin1_bin
CREATE TABLE`test2` (
`n` char(10) COLLATE latin1_bin DEFAULT NULL,
`m` char(10) COLLATE latin1_bin DEFAULT NULL
) ENGINE=MyISAM DEFAULT CHARSET=latin1 COLLATE=latin1_bin
mysql> select* from test1;
+———+———+
| n | m |
+———+———+
| a”\b | c”\d |
+———+———+
1 row in set (0.01 sec)
mysql> select* from test2;
+———+———+
| n | m |
+———+———+
| a”\b | c”\d |
+———+———+
1 row in set (0.00 sec)
mysql> select* from test1 into outfile ‘/tmp/test1.txt’ FIELDS TERMINATED BY ‘;’ ENCLOSED BY‘“’ ESCAPED BY ‘\\’;
Query OK, 1 row affected (0.01 sec)
mysql> select* from test2 into outfile ‘/tmp/test2.txt’ FIELDS TERMINATED BY ‘;’ ENCLOSED BY‘“’ ESCAPED BY ‘\\’;
Query OK, 1 row affected (0.00 sec)
[root@wanglocal]# cat /tmp/test1.txt
“a\”\b”;“c\”\d”
[root@wang local]# cat /tmp/test2.txt
“a\”\\b”;“c\”\\d”
mysql> loaddata infile ‘/tmp/test1.txt’ into table test1 FIELDS TERMINATED BY ‘;’ ENCLOSEDBY ‘“’ ESCAPED BY ‘\\’;
Query OK, 1 row affected (0.10 sec)
mysql> loaddata infile ‘/tmp/test2.txt’ into table test2 FIELDS TERMINATED BY ‘;’ ENCLOSEDBY ‘“’ ESCAPED BY ‘\\’;
Query OK, 1 row affected (0.00 sec)
mysql> select* from test1;
+———+———+
| n | m |
+———+———+
| a”\b | c”\d |
| a | c"d |
+———+———+
2 rows in set (0.00 sec)
mysql> select* from test2;
+———+———+
| n | m |
+———+———+
| a”\b | c”\d |
| a”\b | c”\d |
+———+———+
2 rows in set (0.00 sec)
这个例子对BRIGHTHOUSE和myisam表分别进行导出再导入操作，TERMINATED是分号，ESCAPED符号是双引号，转义符是反斜杠。
而表内数据的内容包含了双引号和反斜杠。
Mysql loader的处理比较智能。数据中包含了ENCLOSED，所以在双引号前加了转义符反斜杠。数据中本来就有的反斜杠，因为和ESCAPED的反斜杠，也进行了一次转义。
Infobrightloader只处理了和ENCLOSED一样的字符。
这个例子说明Infobright loader在使用上受到的限制还是比较多的。