[软件工程应用与实践]lingvo学习笔记

2021SC@SDUSC

lingvo.core.ops.beam_search_step_on_kernels.cc

换包啦！换到ops包，里面记录了lingvo的操作们

给定“hyps”中当前批次中所有波束的部分假设和预测的下一步得分“scores”，返回得分最好的“k”假设，其中第一个“k”假设用于下一步的搜索。'eos_id’是目标语言的波束id的结束。

类方法IsDuplicateHyp

作用：判断超参数是否相同

源码

bool IsDuplicateHyp(const Hyp& cur_hyp, const Hyp& other_hyp,
                    const int epsilon_id) {
  const std::vector<int>& cur_hyp_ids = cur_hyp.prev_labels;
  const std::vector<int>& other_hyp_ids = other_hyp.prev_labels;

    // word_id表示当前标签的id，可以是字母、音素、字片等。

  if (cur_hyp.word_id == other_hyp.word_id) {
    // 如果当前步骤是相同的(或其他)，只需要比较已经剥离了的之前的id。
    return (
        cur_hyp_ids.size() == other_hyp_ids.size() &&
        IdsMatchUpToIndex(cur_hyp_ids, other_hyp_ids, other_hyp_ids.size()));
  } else if (cur_hyp.word_id == epsilon_id) {
    //如果恰好其中一个hyps的当前步长为epsilon，那么需要将该hyp的最终前一个id与其他hyp的当前步长id进行比较，然后比较之前的其余id。
    return (
        cur_hyp_ids.size() == other_hyp_ids.size() + 1 &&
        cur_hyp_ids[cur_hyp_ids.size() - 1] == other_hyp.word_id &&
        IdsMatchUpToIndex(cur_hyp_ids, other_hyp_ids, other_hyp_ids.size()));
  } else if (other_hyp.word_id == epsilon_id) {
    return (other_hyp_ids.size() == cur_hyp_ids.size() + 1 &&
            other_hyp_ids[other_hyp_ids.size() - 1] == cur_hyp.word_id &&
            IdsMatchUpToIndex(other_hyp_ids, cur_hyp_ids, cur_hyp_ids.size()));
  } else {
    // 如果两个hyp的当前阶跃不相同而且也不是，那么这就不可能是重复的hyp。
    return false;
  }
}

本周blog，先占个坑，周末写