当前位置: 首页 > 面试题库 >

SSIS与DTS的性能

闽朝
2023-03-14
问题内容

似乎在这么晚的时候这样做很疯狂,但是…

我正在使用Rocket Software UniVerse源和SQL目标重建一些ETL基础结构。旧的目标平台是Windows Server
2003上的SQL 2000,新的平台是Windows Server
2012上的SQL2012。在两种情况下,都使用ODBC驱动程序连接到源。一切似乎都可以在新平台上正常运行,但包的执行时间却成倍降低。例如,使用SQL
2000 / DTS大约有130万行和28列的一张表大约需要一个小时,而使用SQL 2012 / SSIS大约需要3.5个小时。这两台SQL服务器都在Xen
Server上进行了虚拟化,2012服务器具有更多的RAM和更多的vCPU,这两种计算机在磁盘基础结构方面都没有优势。包执行期间,2012年服务器上没有指标(内存,磁盘IO等)出现红线(或什至实际上接近)。

我已经阅读了多个描述相同场景的论坛帖子,但似乎没有一个真正适合我的解决方案。由于所有这些帖子都是过时的(大多数从DTS到SSIS的转换都发生在SQL
2005的日子里),所以我很好奇是否有任何新鲜的信息。

这些包是非常简单的表副本,没有任何转换。我在源连接中使用“ SELECT列,列,.. FROM源表”,而在目的地中使用“表或视图-
快速加载”。尽管我不确定,但将APPEARS放慢是在等式的源头。

任何帮助表示赞赏。


问题答案:

一种研究的选择是减小数据流中的缓冲区大小。默认情况下,它设置为1万行。如果您的数据源速度较慢,则可能需要花费相当长的时间来填充数据的“存储桶”,才可以
开始
向目标发送一批信息。尽管这似乎违反直觉,但降低该数字可以提高性能,因为5k或1k或100行数据可以更快地填充存储桶。然后,这些数据在数据流中被重新整理,并在填充存储桶2、3等时降落在源中。

如果您有SQL Server源,则可以通过提示您想要快速的N行来优化查询,该行将与SSIS包的行大小对齐。



 类似资料:
  • 聚惠星商城 DTS-SHOP,基于 微信小程序 + springboot + vue 技术构建 ,支持单店铺,多店铺入驻的商城平台。项目包含 微信小程序,管理后台。基于java后台语言,已功能闭环,且达到商用标准的一套项目体系。

  • npm-dts 是一个用于将 npm 包自动生成 dts 文件的 CLI 工具,可在没有 TypeScript 源的情况下创建捆绑的 NPM 库包,并且在导入这些库的地方保留代码建议。 本地安装: npm install --save-dev npm-dts 全局安装: npm install -g npm-dts 使用方式: cd /your/projectnpm-dts generate

  • SQL Server Integration Services Dashboard v 0.6.8 Beta The purpose of this project is to provide a web-based, user-friendly, useful and nice looking SQL Server Integration Services Dashboard and a set

  • 有人知道ADLS(Azure Data Lake Store)gen2使用哪个连接和数据流组件吗? 我已经设法在连接管理器中使用了blob连接器并成功连接到ADLS Gen2,但是当我尝试使用blob源组件时,我收到了一个400错误的请求。如果它只是一个没有HNS的blob存储,则可以正常工作。 ADLS组件声明它只适用于ADLS第1代。 那么如何读取和写入 ADLS 第 2 代呢?

  • 问题内容: 我已经安装了SQL Server 2008 R2 Express版。是否可以使用此安装程序安装Sql Server IntegrationServices? 如果没有,如何安装SSIS?它有执照吗? 问题答案: SSIS 已获得许可- 没有免费版本。您需要开发者许可证,标准许可证或企业许可证。有关SSIS功能参考,请参见MSDN。

  • 当从avi转码到mp4(x264)时,我遇到了fps问题。最终问题出在PTS和DTS值上,所以在AV_INTLEAVED_WRITE_FRAME函数之前添加的第12-15行: 看了很多帖子我还是不明白: =1/25和=1/12800。第一个是我设置的,但我不知道为什么和谁设置了12800?我注意到,在第(7)行=1/90000之前,紧接着它变成了1/12800,为什么?当我从avi转码到avi时,