当前位置: 首页 > 面试题库 >

使用mgo和mongodb的I / O超时

仲孙超
2023-03-14
问题内容

我正在通过mgo运行地图缩减任务。它运行在具有超过350万条记录的集合上。由于某些原因,我现在无法将此端口移植到聚合中。可能会晚一些。因此,map-
reduce是我期待的事情。当我从为测试代码和输出而创建的原始js文件运行该作业时,它运行良好。我试图将地图和减少代码放在两个字符串中,然后尝试调用mgo.MapReduce为我做地图减少,以便在其他集合中编写输出。它给了我

读取TCP 127.0.0.1:27017:I / O超时

但是,由于该作业已在后台解雇,因此仍在运行。现在根据这里的线程— http://grokbase.com/t/gg/mgo-
users/1396d9wyk3/io-timeout-in-statistics-generation-
upsert

通过调用session.SetSocketTimeout很容易解决,但是我不想这样做,因为运行此map-
reduce的文档总数会有所不同,因此,我相信时间也会有所不同。因此,我永远无法以这种方式解决问题。

我可能还有其他方式?

请帮我


问题答案:

将我的评论移至答案。

我相信解决此问题的唯一方法就是将套接字超时设置为高得离谱,例如:

session.SetSocketTimeout(1 * time.Hour)


 类似资料:
  • 有两种机制用于I/O保护: 1、 FLAGS里的IOPL字段定义了使用I/O指令的特权级。 2、 TSS段里的I/O许可位图定义了使用I/O地址空间的特权级。 这些机制只在保护模式下工作,包含虚拟8086模式。在实模式中他们不会起作用。在实模式中,I/O空间没有任何保护。任何子程序可执行I/O指令。任意I/O端口都是可以被I/O指令寻址的。 8.3.1 I/O 特权级(I/O Privilege

  • 我有一个如下所示的文本文件: ...... 我需要读取这个文本文件并将其保存在一个HashMap中,其中奇数行是键,下面的偶数行是值。例如(A,苹果)。我试过下面的代码,它不工作。有人能给我一个提示或建议,告诉我如何才能做到这一点吗?

  • Netty 是一个非阻塞、事件驱动的网络框架。Netty 实际上是使用 Threads(多线程)处理 I/O 事件,对于熟悉多线程编程的读者可能会需要关注同步代码。这样的方式不好,因为同步会影响程序的性能,Netty 的设计保证程序处理事件不会有同步。图 Figure 3.1 展示了,你不需要在 Channel 之间共享 ChannelHandler 实例的原因: Figure 3.1 该图显示,

  • I/O多路复用常用于I/O操作可能会被阻塞的情况 select()出自BSD系统,poll()出自 System V系统。两者原理等价,实现方式不同。POSIX.1定义了两者。 epoll()出自Linux2.6,其他Unix系统无此函数,BSD系统(包括OSX系统)有类似的函数kequeue() select poll epoll模型

  • I/O

    注:本节未经校验,如有问题欢迎提issue 介绍 akka.io包是由Akka和spray.io团队协作开发的。它的设计结合了spray-io模块的经验,并共同进行了改进,使其适应基于actor服务的更加普遍的消费需求。 该 I/O 实现的指导设计目标是要达到极端的可扩展性,要毫不妥协地提供一个API正确匹配底层传输机制,并且是完全的事件驱动、无阻塞和异步。该API命中注定是网络协议实现和构建更高

  • I/O

    目标 了解 java.io.File 类的主要用途 了解如何使用字节流和字符流 了解如何从文件读取数据和向其中写入数据 处理外部数据 您在 Java 程序中使用的数据通常来自外部数据来源,比如数据库、通过套接字直接传输的字节或文件存储。大部分收集和处理外部数据的 Java 工具都包含在 java.io 包中。 文件 在所有可用于 Java 应用程序的数据来源中,文件是最常见的,通常也是最方便的。如