如何像调度程序一样将大数据从MongoDB导入SQL Server

Answer 1

我不知道任何工具，但我肯定他们存在，如果你谷歌他们。

如果是我，在没有事先知识的情况下，我可以将数据导出到平面文件(.csv)，然后创建存储过程或SSIS包将数据导入SQL。

Python可能是我的选择，可以在一夜之间自动化块中的导出，而SQL可以处理导入和清理。

mongoexport --host yourhost --db yourdb --collection yourcollection --csv --out yourfile.csv --fields field1,field2,field3

这样做可以让您在结构到达SSIS包之前定义它。

另一种方式

这里有一个很好的执行所有集合的例子。这是另一个答案。

 out = `mongo  #{DB_HOST}/#{DB_NAME} --eval "printjson(db.getCollectionNames())"`

  collections = out.scan(/\".+\"/).map { |s| s.gsub('"', '') }

  collections.each do |collection|
    system "mongoexport --db #{DB_NAME}  --collection #{collection}  --host '#{DB_HOST}' --out #{collection}_dump"
  end