最近接手一个需求,需要用xxl-job定时任务同步三方库中新增的数据,粗略一看挺得意,以为一两小时就搞定了,但事与愿违,编码两小时却被一个BLOB字段玩了一下午。
每次获取50条数据过来,每条数据中有一个字段是BLOB类型的图片,需求也要将图片放入数据库(个人不建议这么玩,生产上千万的数据会造成数据库很臃肿,建议放到ftp或者minio上比较好),字段中的图片过来时已经被转换成了base64的格式,在往数据库批量插入时,数据库BLOB字段对应的实体使用byte[],程序执行时报了如下错误:
org.springframework.jdbc.UncategorizedSQLException:
### Error updating database. Cause: java.sql.SQLException: ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值
### The error may exist in file [D:\ZtlandCode\AreaCodeVersion\WX\land-core-wx\land-core-common\target\classes\mapper\DjSfzbMapper.xml]
### The error may involve com.ztland.core.common.mapper.DjSfzbMapper.savaSfzBatch-Inline
### The error occurred while setting parameters
### SQL: INSERT INTO DJ_SFZB (ID, SFZXM, SFZZH, SFZXBMC, SFZMZ, SFZSR, SFZDZ, SFZQPDW, SFZYXQ, SFZTP, SFYX, CJSJ, ZHXGSJ) SELECT DJ_SFZB_ID.nextval AS ID, A.* FROM <br>(SELECT ? AS SFZXM, ? AS SFZZH, ? AS SFZXBMC, ? AS SFZMZ, ? AS SFZSR, ? AS SFZDZ, ? AS SFZQPDW, ? AS SFZYXQ, ? AS SFZTP, '1' AS SFYX, sysdate AS CJSJ, sysdate AS ZHXGSJ FROM dual) A
### Cause: java.sql.SQLException: ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值;uncategorized SQLException; SQL state [72000]; error code [1461]; ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值;
nested exception is java.sql.SQLException: ORA-01461: 仅能绑定要插入 LONG 列的 LONG 值
原因是oracle中保存大长度字段时,长度介于2000-4000之间的字段会先转换为LONG类型,报错时的SQL如下:
INSERT INTO DJ_SFZB ( ID,SFZXM,SFZZH,SFZXBMC,SFZMZ,SFZSR,SFZDZ,SFZQPDW,SFZYXQ,SFZTP, SFYX,CJSJ,ZHXGSJ ) select DJ_SFZB_ID.NEXTVAL as ID,A.* from ( <foreach collection ="list" item="item" index= "index" separator =" union all "> select #{item.sfzxm} as SFZXM,#{item.sfzzh} as SFZZH, #{item.sfzxbmc} as SFZXBMC,#{item.sfzmz} as SFZMZ,#{item.sfzsr} as SFZSR, #{item.sfzdz} as SFZDZ,#{item.sfzqpdw} as SFZQPDW,#{item.sfzyxq} as SFZYXQ, #{item.sfztp,jdbcType=BLOB} as SFZTP,'1' as SFYX,sysdate as CJSJ,sysdate as ZHXGSJ from dual </foreach > ) A
问题排查发现:批量就byte[]保存到BLOB字段时,不能使用Union all,不能使用from dual虚表查询获取数据的方式,因为字段长度介于2000-4000之间时,oracle会将字段类型转为long类型
解决方法:使用”begin...;end;“的方式,修改后的SQL如下:
begin <foreach collection ="list" item="item" index= "index" separator =";"> INSERT INTO DJ_SFZB ( ID,SFZXM,SFZZH,SFZXBMC,SFZMZ,SFZSR,SFZDZ,SFZQPDW,SFZYXQ,SFZTP, SFYX,CJSJ,ZHXGSJ ) values ( #{item.id,jdbcType=NUMERIC}, #{item.sfzxm,jdbcType=VARCHAR},#{item.sfzzh,jdbcType=VARCHAR}, #{item.sfzxbmc,jdbcType=VARCHAR},#{item.sfzmz,jdbcType=VARCHAR},#{item.sfzsr,jdbcType=VARCHAR}, #{item.sfzdz,jdbcType=VARCHAR},#{item.sfzqpdw,jdbcType=VARCHAR},#{item.sfzyxq,jdbcType=VARCHAR}, #{item.sfztp,jdbcType=BLOB},'1',sysdate,sysdate ) </foreach > ;end;
问题得以解决。
到此这篇关于如何在mybatis中向BLOB字段批量插入数据的文章就介绍到这了,更多相关mybatis批量插入数据内容请搜索小牛知识库以前的文章或继续浏览下面的相关文章希望大家以后多多支持小牛知识库!
我在Azure Blob存储中有CSV文件,我想将文件内容插入我的MS SQL表。我在代码中使用的CSV文件和表具有相同的列数。 我使用了此处指定的批量插入命令:从Azure blob存储中的文件导入数据。 如果使用本地文件路径,则大容量插入按预期工作,但如果从blob读取,则会出现以下错误: 无法大容量加载,因为无法打开文件“itemdata\u csv\u test.csv”。操作系统错误代码
我试图将数据插入GraphDB,因此SPARQL更新查询由总大小约为1M的语句组成,并带有一些DELETE和WHERE语句。我使用GraphDB REST API执行此操作失败: 1) 成功启动了发送更新请求(python代码段)的事务处理POST/repositories/{repositoryID}/transactions 2) 获取错误 此Sparql语句成功地执行在工作台SPARQL控制
问题内容: 使用hibernate时,当我尝试使用以下方式启用批量插入时 我得到以下输出: 然后这个: 基本上没有。 我是否缺少设置? 问题答案: 原来在这种情况下缺少的是: 现在我明白了 频繁得多(任何大于1的值基本上都意味着它成功完成了批量插入)。 hibernate.jdbc.batch_versioned_data也可能有用。 jdbc:mysql:// localhost:3306 /
问题内容: 我有许多记录需要输入到表中。在查询中执行此操作的最佳方法是什么?我是否应该进行循环并在每次迭代中插入一条记录?或者,还有更好的方法? 问题答案: 从MySQL手册 使用VALUES语法的INSERT语句可以插入多行。为此,请包括多个列值列表,每个列值括在括号内并用逗号分隔。例:
问题内容: 在MS SQL上,我可以使用以下sql命令进行批量插入: 现在我想在MySQL上做同样的事情,但是我似乎无法弄清楚它是如何工作的以及使用什么查询。 问题答案: 在MySQL中,等效项为 加载数据文件 http://dev.mysql.com/doc/refman/5.1/en/load- data.html
问题内容: 使用休眠时,当我尝试使用以下方式启用批量插入时 我得到以下输出: 然后这个: 基本上没有。 我是否缺少设置? 问题答案: 原来这种情况下缺少的是: 参考:https : //forum.hibernate.org/viewtopic.php ? p =2374413,https : //stackoverflow.com/a/5240930/32453 或可能是hibernate.or