go_spider 简单爬虫实现

1.前情提要

作为一个根正苗红的php程序员（筑基前期的程序员），很容易不知道自己想做什么。庞大的系统搞不定，增删改查没意思。。。
在这个背景下，为了学习到php没有的特性（高性能，并发）接受到了公司老员工的火爆安利，对golang的兴趣很大。

2.代码实现

以下是完整代码     

package main

import (
    "fmt"
    "log"
    "strings"

    "github.com/PuerkitoBio/goquery"
    _ "github.com/go-sql-driver/mysql"  //载入数据库驱动
    "github.com/go-xorm/xorm"
    "github.com/hu17889/go_spider/core/common/page"
    "github.com/hu17889/go_spider/core/common/request"
    "github.com/hu17889/go_spider/core/spider"
)

const (
    rooturl = "http://www.77kp.com"  // 爬取网站的根目录
)

type Db77kp struct {
    Id    int64
    Name  string
    Xlurl string
}

var mysqluser string = "test"
var mysqlpass string = "123456"
var mysqlhost string = "127.0.0.1:3306"
var mysqlname string = "77kp"

//爬取77kp网站，获取迅雷下载地址

//- url 入口
// http://www.77kp.com/

//- 爬取 ```ul.txt-list a href ``` 获得详情页跳转地址
//- 爬取 ``` ul.downurl a href a text``` 获取该影片迅雷下载地址，并储存数据库
//- 爬取 ```ul.txt-list a href ```继续加入下载队列

type MyPageProcesser struct {
}

func NewMyPageProcesser() *MyPageProcesser {
    return &MyPageProcesser{}
}

//网页解析器
func (this *MyPageProcesser) Process(p *page.Page) {
    if !p.IsSucc() {
        println(p.Errormsg())
        return
    }

    // 连接数据库
    conn := mysqluser + ":" + mysqlpass + "@tcp(" + mysqlhost + ")/" + mysqlname + "?charset=utf8"
    engine, mysqlErr := xorm.NewEngine("mysql", conn)
    if mysqlErr != nil {
        log.Print("数据库连接失败！")
        log.Print(mysqlErr)
    }

    query := p.GetHtmlParser()

        // 获取页面上相同类型的url，准备加入待爬取页面列表
    href, _ := query.Find(".txt-list.txt-list-small a").Attr("href")
    href = strings.Trim(href, "\t\n")

        // 爬取当前页面是哪部电视剧的名称
    name := query.Find(".detail-title h2").Text()
    name = strings.Trim(name, " \t\n")

    //  var durlMap map[int]string

        // 循环爬取页面中迅雷下载地址和剧集名称，并存入数据库中
    query.Find(".downurl .dwon_xl a").Each(func(i int, s *goquery.Selection) {
        dramaName, _ := s.Attr("title")
        downurl, _ := s.Attr("href")
        _, errins := engine.Query("INSERT INTO `77kp` (`name`, `xlurl`) VALUES ('" + dramaName + "', '" + downurl + "')")
        if errins != nil {
            log.Print("插入数据库失败！")
            log.Print(errins.Error())
        }
        fmt.Println("剧集名称:" + dramaName)
        fmt.Println("剧集下载地址:" + downurl)
        fmt.Println("插入数据库成功！")
    })

        // 将待爬取的链接加入爬取列表中
    addRequest(p, "77kp", rooturl+href, "", "")

    fmt.Printf("页面名称：%v \n 页面路由：%v \n", name, href)
    //  p.AddField("summary", summary)
    //  p.AddField("href", href)
}

// 爬取完成方法
func (this *MyPageProcesser) Finish() {
    fmt.Printf("爬取完成！ \r\n")
}

// 添加待爬取url方法
func addRequest(p *page.Page, tag, url, cookie, content string) {
    req := request.NewRequest(url, "html", tag, "GET", "", nil, nil, nil, nil)
    p.AddTargetRequestWithParams(req)
}

func main() {
    sp := spider.NewSpider(NewMyPageProcesser(), "77kp")
        // 入口地址
    req := request.NewRequest("http://www.77kp.com/vod-detail-id-5269.html", "html", "", "GET", "", nil, nil, nil, nil)
    pageItems := sp.GetByRequest(req)
    url := pageItems.GetRequest().GetUrl()
    println("url\t:\t" + url)
    //  for name, value := range pageItems.GetAll() {
    //      println(name + "\t:\t" + value)
    //  }
}