最新公告
  • 欢迎您光临DT模板网,本站秉承服务宗旨 履行“站长”责任,销售只是起点 服务永无止境!立即加入我们
  • 成人网站PornHub爬虫分享(一天可爬取500万以上的视频)

    PornHubBot

    源码下载地址

    https://github.com/xiyouMc/WebHubBot
    PornHubBot项目主要是爬取全球最大成人网站PornHub的视频标题、时长、mp4链接、封面URL和具体的PornHub链接
    项目爬的是PornHub.com,结构简单,速度飞快
    爬取PornHub视频的速度可以达到500万/天以上。具体视个人网络情况,因为我是家庭网络,所以相对慢一点。
    10个线程同时请求,可达到如上速度。若个人网络环境更好,可启动更多线程来请求,具体配置方法见 [启动前配置]

    环境、架构

    开发语言: Python2.7

    开发环境: MacOS系统、4G内存

    数据库: MongoDB

    主要使用 scrapy 爬虫框架
    从Cookie池和UA池中随机抽取一个加入到Spider
    start_requests 根据 PorbHub 的分类,启动了5个Request,同时对五个分类进行爬取。
    并支持分页爬取数据,并加入到待爬队列。

    使用说明

    启动前配置

    安装MongoDB,并启动,不需要配置
    安装Scrapy
    安装Python的依赖模块:pymongo、json、requests
    根据自己需要修改 Scrapy 中关于 间隔时间、启动Requests线程数等得配置

    启动

    python PornHub/quickstart.py
    

    运行截图


    数据库说明

    数据库中保存数据的表是 PhRes。以下是字段说明:
    PhRes 表:

    video_title:视频的标题,并作为唯一标识.
    link_url:视频调转到PornHub的链接
    image_url:视频的封面链接
    video_duration:视频的时长,以 s 为单位
    quality_480p: 视频480p的 mp4 下载地址
    
    DT模板网上源码供源码爱好者(站长)学习研究使用。借鉴职业开发人员的代码写法,快速提升自己。部分源码需以前VIP用户分享,VIP费用供我们用来买源码,服务器开支。源码具有可复制性,部分源码被不断分享出去,但源码本身的性质不变,仅供本地环境下学习研究使用,如果你直接拿来做站,又做了违法违规的网站,请自行承担一切法律后果。
    DT模板网 » 成人网站PornHub爬虫分享(一天可爬取500万以上的视频)

    发表评论

    • 2114会员总数(位)
    • 675资源总数(个)
    • 2本周发布(个)
    • 0 今日发布(个)
    • 361稳定运行(天)

    提供最优质的资源集合

    立即查看 了解详情