dbunit mysql bug no_dbunit经典的NoSuchColumnException解决之道
抱怨来了
dbunit这么多人用，这个项目居然好像没有人在维护了，自动2012年9月release一个版本后，再没有更新了，寒心啊。
dbunit有一个大大的BUG，即会解释不了MySQL表的结构，在使用@DataSet准备数据时，会抛出类似如下的异常：
Caused by: org.unitils.core.UnitilsException: Error while executing DataSetLoadStrategy
at org.unitils.dbunit.datasetloadstrategy.impl.BaseDataSetLoadStrategy.execute(BaseDataSetLoadStrategy.java:46)
at org.unitils.dbunit.DbUnitModule.insertDataSet(DbUnitModule.java:230)
at org.unitils.dbunit.DbUnitModule.insertDataSet(DbUnitModule.java:153)
... 35 more
Caused by: org.dbunit.dataset.NoSuchColumnException: t_upload_file.ID - (Non-uppercase input column: id) in ColumnNameToIndexes cache map. Note that the map's column names are NOT case sensitive.
at org.dbunit.dataset.AbstractTableMetaData.getColumnIndex(AbstractTableMetaData.java:117)
at org.dbunit.operation.AbstractOperation.getOperationMetaData(AbstractOperation.java:89)
at org.dbunit.operation.AbstractBatchOperation.execute(AbstractBatchOperation.java:140)
at org.dbunit.operation.CompositeOperation.execute(CompositeOperation.java:79)
at org.unitils.dbunit.datasetloadstrategy.impl.CleanInsertLoadStrategy.doExecute(CleanInsertLoadStrategy.java:45)
at org.unitils.dbunit.datasetloadstrategy.impl.BaseDataSetLoadStrategy.execute(BaseDataSetLoadStrategy.java:44)
... 37 more
其实这是dbunit的一个BUG，好像很多版本都有这个问题，报告说解决了，其实并没有解决。我使用最新的2.4.9的版本照样会抛出这个问题。
解决办法
碰到问题光抱怨是没有用的，又不能指望dbunit的作者改，只能自己着腾了。按照网上的几篇文章改了dbunit的源码，重新编译上传到自己的Maven私服上。终于解决了。
为了避免大家再重新更改编译，我把已经解译好的dbunit jar放在附件中，大家需要的话可以下载使用。
继续...
最近又在整基于DB2的unitils框架，发现又出现问题了，结果再次好好跟踪了unitils及dbunit的源码，终于有了颠覆性的重大发现：
原来网上一直说的是DBUNIT框架导致这个问题的说明是错误的，真正的错误是unitils框架的错误！！
因为DBUNIT已经为不同数据库提供了不同的接口实现：
org.dbunit.database.IMetadataHandler
而unitils(具体地说是DbUnitModule模块)不管你什么数据库，它统一使用这个类：
org.dbunit.database.DefaultMetadataHandler
如果数据库不特殊，当然用DefaultMetadataHandler这个没有问题，如果特殊，则就取不到数据库的Metadata信息了，结果异常就发生了。
但是，目前的DBUnit的Db2MetadataHandler确实是有BUG的，所以我的解决方法是：
1)复写了unitils的DbUnitModule实现类；
2)复写了dbunit的Db2MetadataHandler实现类；
3)配置unitils的配置文件，应用这些自定义的实现类。
package com.ridge.test.unitils.ext;
import org.dbunit.database.DatabaseConfig;
import org.dbunit.database.DefaultMetadataHandler;
import org.dbunit.dataset.DataSetException;
import org.dbunit.dataset.IDataSet;
import org.dbunit.dataset.datatype.IDataTypeFactory;
import org.dbunit.dataset.filter.ITableFilterSimple;
import org.dbunit.ext.db2.Db2DataTypeFactory;
import org.dbunit.ext.db2.Db2MetadataHandler;
import org.dbunit.ext.mysql.MySqlDataTypeFactory;
import org.dbunit.ext.mysql.MySqlMetadataHandler;
import org.unitils.core.UnitilsException;
import org.unitils.core.dbsupport.DbSupport;
import org.unitils.core.dbsupport.DefaultSQLHandler;
import org.unitils.core.dbsupport.SQLHandler;
import org.unitils.dbunit.DbUnitModule;
import org.unitils.dbunit.util.DbUnitDatabaseConnection;
import javax.sql.DataSource;
import static org.dbunit.database.DatabaseConfig.FEATURE_BATCHED_STATEMENTS;
import static org.dbunit.database.DatabaseConfig.PROPERTY_DATATYPE_FACTORY;
import static org.dbunit.database.DatabaseConfig.PROPERTY_ESCAPE_PATTERN;
import static org.unitils.core.dbsupport.DbSupportFactory.getDbSupport;
import static org.unitils.core.util.ConfigUtils.getInstanceOf;
/**
* @author : chenxh(quickselect@163.com)
* @date: 13-10-9
*/
public class MyDbunitModule extends DbUnitModule {
protected DbUnitDatabaseConnection createDbUnitConnection(String schemaName) {
// A DbSupport instance is fetched in order to get the schema name in correct case
DataSource dataSource = getDatabaseModule().getDataSourceAndActivateTransactionIfNeeded();
SQLHandler sqlHandler = new DefaultSQLHandler(dataSource);
DbSupport dbSupport = getDbSupport(configuration, sqlHandler, schemaName);
// Create connection
DbUnitDatabaseConnection connection = new DbUnitDatabaseConnection(dataSource, dbSupport.getSchemaName());
DatabaseConfig config = connection.getConfig();
// Make sure that dbunit's correct IDataTypeFactory, that handles dbms specific data type issues, is used
IDataTypeFactory dataTypeFactory = getInstanceOf(IDataTypeFactory.class, configuration, dbSupport.getDatabaseDialect());
config.setProperty(PROPERTY_DATATYPE_FACTORY, dataTypeFactory);
// Make sure that table and column names are escaped using the dbms-specific identifier quote string
if (dbSupport.getIdentifierQuoteString() != null)
config.setProperty(PROPERTY_ESCAPE_PATTERN, dbSupport.getIdentifierQuoteString() + '?' + dbSupport.getIdentifierQuoteString());
// Make sure that batched statements are used to insert the data into the database
config.setProperty(FEATURE_BATCHED_STATEMENTS, "true");
// Make sure that Oracle's recycled tables (BIN$) are ignored (value is used to ensure dbunit-2.2 compliancy)
config.setProperty("http://www.dbunit.org/features/skipOracleRecycleBinTables", "true");
//注意这儿：根据不同的数据库(unitils的database.dialect配置参数)为dbunit
//指定使用不同的IMetadataHandler实现(其它数据库都可以用默认的，还有一个Netezza也是特别的，这里忽略了)
if("db2".equalsIgnoreCase(configuration.getProperty("database.dialect"))){
config.setProperty(DatabaseConfig.PROPERTY_DATATYPE_FACTORY,
new Db2DataTypeFactory());
//由于dbunit自身提供的Db2MetadataHandler有BUG，所以这里使用自己写的
//MyDb2MetadataHandler,源码在后面了。
config.setProperty(DatabaseConfig.PROPERTY_METADATA_HANDLER,
new MyDb2MetadataHandler());
}else if("mysql".equalsIgnoreCase(configuration.getProperty("database.dialect"))){
config.setProperty(DatabaseConfig.PROPERTY_DATATYPE_FACTORY,
new MySqlDataTypeFactory());
config.setProperty(DatabaseConfig.PROPERTY_METADATA_HANDLER,
new MySqlMetadataHandler());
}
return connection;
}
}
下面是MyDb2MetadataHandler的源码：
package com.ridge.test.unitils.ext;
import org.dbunit.ext.db2.Db2MetadataHandler;
import java.sql.DatabaseMetaData;
import java.sql.ResultSet;
import java.sql.SQLException;
import org.dbunit.util.SQLHelper;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
/**
* @author : chenxh(quickselect@163.com)
* @date: 13-10-9
*/
public class MyDb2MetadataHandler extends Db2MetadataHandler {
private static final Logger logger = LoggerFactory.getLogger(MyDb2MetadataHandler.class);
public ResultSet getTables(DatabaseMetaData metaData, String schemaName, String[] tableType)
throws SQLException
{
if(logger.isTraceEnabled())
logger.trace("tableExists(metaData={}, schemaName={}, tableType={}) - start",
new Object[] {metaData, schemaName, tableType} );
return metaData.getTables(null, schemaName, "%", tableType);
}
public boolean tableExists(DatabaseMetaData metaData, String schema, String tableName)
throws SQLException
{
ResultSet tableRs = metaData.getTables(null, schema, tableName, null);
try
{
return tableRs.next();
}
finally
{
SQLHelper.close(tableRs);
}
}
public ResultSet getColumns(DatabaseMetaData databaseMetaData, String schemaName, String tableName)
throws SQLException {
// Note that MySQL uses the catalogName instead of the schemaName, so
// pass in the given schema name as catalog name (first argument).
ResultSet resultSet = databaseMetaData.getColumns(
null, schemaName, tableName, "%");
return resultSet;
}
public boolean matches(ResultSet columnsResultSet, String catalog,
String schema, String table, String column,
boolean caseSensitive) throws SQLException
{
String catalogName = columnsResultSet.getString(1);
String schemaName = columnsResultSet.getString(2);
String tableName = columnsResultSet.getString(3);
String columnName = columnsResultSet.getString(4);
// MYSQL provides only a catalog but no schema
if(schema != null && schemaName == null && catalog==null && catalogName != null){
logger.debug("Switching catalog/schema because the are mutually null");
schemaName = catalogName;
catalogName = null;
}
boolean areEqual =
areEqualIgnoreNull(table, tableName, caseSensitive) &&
areEqualIgnoreNull(column, columnName, caseSensitive);
return areEqual;
}
private boolean areEqualIgnoreNull(String value1, String value2,
boolean caseSensitive) {
return SQLHelper.areEqualIgnoreNull(value1, value2, caseSensitive);
}
}
最后一步，更改unitils.properties的配置：
...
unitils.module.dbunit.className=com.ridge.test.unitils.ext.MyDbunitModule
...
总结一下
采用前面的解决方案只能解决mysql的问题，且直接改dbunit的源码，是不好的方案，现在我把它废弃了，大家就不要了。
采用第二种方案吧，是优雅的解决方案，没有更改dbunit的源码，仅通过unitils的扩展配置实现了，所以你不要下载附件的dbunit-2.4.8.2.jar了，直接使用最新的dbunit版本吧：
org.dbunit
dbunit
2.4.9>
这个问题啊，让我死几回的心都有了，现在终于解决了，希望对大家有帮助！