百度网盘爬虫

实现这个只需三个步骤

1.我们需要知道网络上具有共享资源的百度网盘的 uk并把他们放入数据库中。我们可以从下面的地址中快速的获得 uk

http://yun.baidu.com/pcloud/friend/getfanslist?query_uk=1327787586&limit=25&start=0

http://yun.baidu.com/pcloud/friend/gethotuserlist?type=1&from=feed&start=0&limit=24&channel=chunlei&clienttype=0&web=1
在这里我们要记录粉丝数，好友数，分享数，uk

2.从我们初始化的数据库中取出一定量的数据。首先获得一个 uk下分享的信息，uk 下分享信息有两种一种是普通的文件，另一种是专辑。因此我们通过如下链接获取信息的时候要注意

    sharelists_url='http://yun.baidu.com/pcloud/feed
    /getsharelist？category=0&auth_type=1&request_location=share_home&start=%d&limit=60&query_uk=%d&
    channel=chunlei&clienttype=0&web=1' 

ref = 'yun.baidu.com/share/home?uk= %d&view=share'

3.抓取完一个 uk 之后，我们要获得 uk下朋友或者粉丝的 uk，并把步骤一中的关键信息存入数据库中。

下面链接是获得一个 uk朋友的信息：
    follows_url='http://yun.baidu.com/pcloud/friend
    /getfollowlist?query_uk=%d&limit=%d&start=%d&bdstoken=d82467db8b1f5741daf1d965d1509181&channel=chunlei&
    clienttype=0&web=1'

ref='http://yun.baidu.com/pcloud/friendpage?type=follow&uk=%d&self=1'

下面链接获得一个 uk 的粉丝信息：
        fans_url='http://yun.baidu.com/pcloud/friend/getfanslist?query_uk=%d&limit=%d&start=%d'

最后重复执行2，3步。我们的百度网盘爬虫就完成了，看真的很简单。

Demo 地址为 https://github.com/mrHuangWenHai/BaiDu_Spider