node.js：使用请求和Cheerio问题进行清理

Question

首先：我是node的新手，也是编程的初学者。

我正在尝试用Express创建一个小型web应用程序，其唯一目标是从一个没有开放API的网站获取并重新格式化数据。

为了做到这一点，我决定学习刮痧，这把我带到了Cheerio和Request。

我以reddit为例来学习。本例的最终目标是收集首页上帖子的名称和href以及指向评论的url,然后进入该页面以刮取评论的数量。

下面是在GET请求中调用到/的路由（请原谅变量名和注释/console.logs，我很失望）：

/*
 * GET home page.
 */

exports.index = function(req, res){
  var request = require('request')
   ,  cheerio =require('cheerio')
   ,  mainArr = []
   ,  test = "test"
   ,  uI
   ,  commentURL;


  function first() {
    request("http://www.reddit.com", function(err, resp, body) {
        if (!err && resp.statusCode == 200) {
            var $ = cheerio.load(body);
            $('.thing', '#siteTable').each(function(){
                var url = $('a.title', this).attr('href')
                 ,  title = $('a.title', this).html()
                 ,  commentsLink = $('a.comments', this).attr('href')
                 ,  arr = [];

                arr.push(title);
                arr.push(url);
                arr.push(commentsLink);

                mainArr.push(arr);

            });
            second();
        };
    });
  }

  function second() {
    for (i = mainArr.length - 1; i >= 0; i--) {
        uI = mainArr[i].length - 1;
        commentURL = mainArr[i][uI];
        console.log(commentURL + ", " + uI + ", " + i);

        var foo = commentURL;

        request(foo, function(err, resp, body) {
            console.log("what the shit");
            // var $ = cheerio.load(body);
            // console.log(mainArr.length + ", " + commentURL + ", " + i + ", " + uI);
            // var test = $('span.title', 'div.content').html();
            console.log(test + ", "+ foo + ", " + commentURL + ", " + i + ", " + uI);
            // mainArr[1][2] = test;

        });
    };
    if (i<=0) {
        res.render('index', {title: test});
    };

  }

   first();



};

函数第一（）；按预期工作。它将标题、href和注释的url放在一个数组中，然后将该数组推送到包含首页上所有帖子的数据点的主数组中。然后调用函数second（）；

所述函数的目标是遍历主数组(mainarr[])，然后选择所有指向注释的url(mainarr[i][uI])，并以该url作为第一个参数启动请求（）。

该循环工作，但是在第二次调用request（）函数内部的过程中，一切都崩溃了。我得到的变量被永久设置为-1，而commentURL（被设置为当前帖子的注释的URL的变量）被永久定义为arrmain[]中的第一个URL。还有一些带有arrmain.length的怪异行为。根据我放置它的位置，它告诉我arrMain是未定义的。

我有一种感觉，我错过了一些明显的东西（可能与异步性有关），但我一辈子都找不到它。

我会非常乐意为任何建议！

Answer 1

您的猜测是正确的，这就是臭名昭著的“JavaScript循环gotcha”。例如，请参见此处的解释：

Javascript臭名昭著的循环问题？

除此之外，似乎只有您的调试打印受到影响。关于var test的注释代码应该可以工作。

最后，这种语言是不受欢迎的，所以，在这篇文章中，您最好花两分钟时间更改变量名。