当前位置: 首页 > 编程笔记 >

SQL Server中避免触发镜像SUSPEND的N种方法

宋臻
2023-03-14
本文向大家介绍SQL Server中避免触发镜像SUSPEND的N种方法,包括了SQL Server中避免触发镜像SUSPEND的N种方法的使用技巧和注意事项,需要的朋友参考一下

背景:
我们在使用数据库的过程中,很多时候要追求性能,特别在处理大批量数据的时候更希望快速处理。那么对SQL SERVER而言,数据库实现大批量插入的优化方案,这里特别介绍通过大容量插入的一种方式。
基本原理:
简单恢复模式按最小方式记录大多数大容量操作,对于完整恢复模式下的数据库,大容量导入期间执行的所有行插入操作被完整地记录到事务日志中。如果数据导入量较大,会导致迅速填满事务日志。对于大容量导入操作,按最小方式记录比完整记录更有效,并减少了大容量导入操作填满日志空间的可能性,所以性能会得到极大的提升。
       但是,大容量导入中按最小方式记录日志的前提条件需要满足:
1. 当前没有复制表
2. 指定了表锁定:

注意:锁定是 SQL Server 数据库引擎用来对多个用户同时访问同一数据块的操作进行同步。当事务修改某个数据块时,它将持有保护所做修改的锁,直到事务结束。指定大容量导入操作的表锁定后,该表将在大容量导入操作期间采取大容量更新 (BU) 锁定。大容量更新 (BU) 锁允许多个线程将数据并发地大容量导入到同一表中,同时阻止其他不进行大容量导入数据的进程访问该表。表锁定可以通过减少表的锁争用来提高大容量导入操作的性能。
基本的理论信息还很多,这里不再累述。 

在阿里云SQL SERVER的主备架构中,使用大容量插入时,使用时需要特别留意一个特性需要明确指定,如果不指定,会触发微软尚未在SQL Server 2008 R2中未修复的BUG,会导致镜像SUSPEND,那么如何来避免各种情况呢? 下面列举了一些常见的场景:
 1、通过ado.net sqlbulkcopy 方式:
只需要将SqlBulkCopy 指定SqlBulkCopyOptions.CheckConstraints就好,数据库指定AdventureWorks2008R2的Person表。举个例子:

static void Main()
{
  string srcConnString = "Data Source=(local);Integrated Security=true;Initial Catalog=testdb";
  string desConnString = "Data Source=****.sqlserver.rds.aliyuncs.com,3433;User ID=**;Password=**;Initial Catalog=testdb";
 
  SqlConnection srcConnection = new SqlConnection();
  SqlConnection desConnection = new SqlConnection();
 
  SqlCommand sqlcmd = new SqlCommand();
  SqlDataAdapter da = new SqlDataAdapter();
  DataTable dt = new DataTable();
 
  srcConnection.ConnectionString = srcConnString;
  desConnection.ConnectionString = desConnString;
  sqlcmd.Connection = srcConnection;
 
  sqlcmd.CommandText = @"SELECT top 1000000 [PersonType],[NameStyle],[Title],[FirstName],[MiddleName],[LastName],[Suffix],[EmailPromotion]
           ,[AdditionalContactInfo],[Demographics],NULL as rowguid,[ModifiedDate] FROM [testdb].[dbo].[Person]";
  sqlcmd.CommandType = CommandType.Text;
  sqlcmd.Connection.Open();
  da.SelectCommand = sqlcmd;
  da.Fill(dt);
 
 
  using (SqlBulkCopy blkcpy = new SqlBulkCopy(desConnString, SqlBulkCopyOptions.CheckConstraints))
  //using (SqlBulkCopy blkcpy = new SqlBulkCopy(desConnString, SqlBulkCopyOptions.Default))
  {
    blkcpy.BatchSize = 2000;
    blkcpy.BulkCopyTimeout = 5000;
    blkcpy.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnSqlRowsCopied);
    blkcpy.NotifyAfter = 2000;
 
    foreach (DataColumn dc in dt.Columns)
    {
      blkcpy.ColumnMappings.Add(dc.ColumnName, dc.ColumnName);
    }
 
    try
    {
      blkcpy.DestinationTableName = "Person";
      blkcpy.WriteToServer(dt);
    }
    catch (Exception ex)
    {
      Console.WriteLine(ex.Message);
    }
    finally
    {
      sqlcmd.Clone();
      srcConnection.Close();
      desConnection.Close();
 
    }
  }
 
}
 
private static void OnSqlRowsCopied(
  object sender, SqlRowsCopiedEventArgs e)
{
  Console.WriteLine("Copied {0} so far...", e.RowsCopied);
}

 2、通过jdbc  sqlbulkcopy 方式:
只需要在初始化对象时指定setCheckConstraints属性为TRUE,例如:
QLServerBulkCopyOptions copyOptions = new SQLServerBulkCopyOptions();
copyOptions.setCheckConstraints(true);
3、通过DTS/SSIS方式:
1.    import/export data方式需要先保存SSIS包,然后修改Connection Manager的属性

 

2.    直接使用SQL Server Business Intelligence Development Stuidio新建 SSIS包

3、通过BCP方式
1.      先将数据BCP出来 BCP ...OUT
BCP testdb.dbo.person Out "bcp_data" /t  /N /U **** /P *** /S "****.sqlserver.rds.aliyuncs.com,3433"
2.      然后将数据BCP进去 BCP...IN ,但需要指定提示:/h "CHECK_CONSTRAINTS"
BCP testdb.dbo.person In "bcp_data" /C /N /q /k /h "CHECK_CONSTRAINTS" /U *** /P *** /b 500 /S  "***.sqlserver.rds.aliyuncs.com,3433"
 4、通过bulk insert方式(在RDS不可是实现,因为不允许上传文件)

BULK INSERT testdb.dbo.person_in
FROM N'D:\trace\bcp.txt'
WITH
(
 CHECK_CONSTRAINTS 
);

四种方式教你在SQL Server中避免触发镜像SUSPEND,希望对大家的学习有所帮助。

 类似资料:
  • 问题内容: 我在MySQL中使用触发器存在一些问题。 假设我们有2个表: 表A 表B 和2个触发器: TriggerA:在TableA上删除并更新TableB时触发 TriggerB:在TableB上删除并在TableA中删除时触发 问题是,当我删除TableB中的某些行时,TriggerB触发并删除TableA中的某些元素,然后TriggerA触发并尝试更新TableB。 它失败,因为Trigg

  • 本文向大家介绍Java中避免NullPointerException的方法总结,包括了Java中避免NullPointerException的方法总结的使用技巧和注意事项,需要的朋友参考一下 Java中避免NullPointerException的方法总结 在字符串常量上调用equals 如果strOject == null,那下面一种方法就会抛出NullPointerException 用val

  • 问题内容: 在阅读有关如何避免json劫持的文章时,我遇到了各种方法,包括发布所有内容或添加响应,因此它们不是有效的JavaScript。 最常见的前缀方法似乎是在对象或数组之前添加。Angular建议以开头。 为什么角度不使用更标准的方法?一个人不是完全安全吗?在JavaScript中难于使用吗?抛开角度,是否有充分的理由采用不太受欢迎的方法? 问题答案: 阻止将JSON响应解析为JavaScr

  • 本文向大家介绍Ruby On Rails中如何避免N+1问题,包括了Ruby On Rails中如何避免N+1问题的使用技巧和注意事项,需要的朋友参考一下 N+1问题 N+1问题是数据库访问中最常见的一个性能问题,首先介绍一下什么是N+1问题: 举个例子,我们数据库中有两张表,一个是Customers,一个是Orders。Orders中含有一个外键customer_id,指向了Customers的

  • Pushing the image Now that a root key is available, it’s time to initialize the repository on the first push. Consider this as your app: FROM alpine RUN true Make sure you have all trusted metadata us

  • 问题内容: 用户可以通过文本框中的邮政编码(例如:L14,L15,L16)或位置进行搜索。 如果用户键入“ Liverpool”,它将找到位于“ Liverpool”的所有商店。如果用户输入邮政编码(例如:L15),它将搜索所有在L15邮政编码区域中交货的商店。 请参阅下表: -- SQL查询: -- 结果-按位置(利物浦): 结果-按邮政编码(L12): 它似乎工作正常…是否还有其他方法可以缩短

  • 国王、王后、鲁克、主教、骑士、卒: Piece:以上各部分的超类,共享功能如下所示 这里是我不喜欢的:我的Square类中有一个名为“board”的字段,这样我就可以引用给定的Square所属的board。我不喜欢这个设计,因为它会导致克隆的问题。 我是否应该将这个方法移到Board类中,这样我就可以访问Board对象,而不必从Square到Board? 我很感激你的想法bclayman

  • 我需要从mongo(v3.2.10)集合(使用Pymongo 3.3.0)中获取大量(例如1亿)文档并迭代它们。迭代需要几天时间,我经常遇到由于游标超时而导致的异常。 在我的例子中,我需要在迭代时睡上不可预知的时间。例如,我可能需要:-获取10个文档-睡眠1秒-获取1000个文档-睡眠4小时-获取1个文档等 我知道我可以: 完全禁用超时,但如果可能的话,我希望避免这种情况,因为如果我的代码完全停止