最新要闻

广告

手机

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案

家电

环球讯息:Python 爬虫方法总结

来源:博客园


(资料图)

实现爬虫的套路

  • 准备URL

    • 准备start_url
      • url地址规律不明显,总数不确定
      • 通过代码提取下一页的url
        • 通过xpath提取
        • 寻找url地址,部分参数在当前的响应中(比如当前页码数和总页码数在当前的响应中)
    • 准备url_list
      • 页码总数明确的时候
      • url地址规律明显
  • 发送请求,获取响应

    • 添加随机的User-Agent,反反爬虫
    • 添加随机的代理IP,反反爬虫
    • 在对方判断出我们是爬虫之后,应该添加更多的headers字段,包括cookie
    • cookie的处理可以使用session解决
    • 准备一堆能用的cookie,组成cookie池
      • 如果不登陆
        • 准备刚开始能够成功请求对方网站的cookie,即接受对方网站设置在response的cookie
        • 下一次请求的时候,使用之前的列表中的cookie来请求
      • 如果登录
        • 准备多个账号
        • 使用程序获取每个账号的cookie
        • 之后请求登录之后才能访问的网站随机的选择cookie
  • 提取数据

    • 确定数据的位置
      • 如果数据在列表当前的地址中
        • 提取的是列表页的数据
          • 直接请求列表页的url地址,不用进去详情页
        • 提取的是详情页的数据
            1. 确定url
            2. 发送请求
            3. 提取数据
            4. 返回
      • 如果数据不在当前的url地址中
        • 在其他的响应中,寻找数据的位置
            1. 从network中从上往下找
            2. 使用chrome中的【过滤条件,选择除了js,css,img之外的选项
            3. 使用chrome的search all file,搜索数字和英文
    • 数据的提取
      • xpath,从html中提取整块的数据,先分组,之后每一组再提取
      • re(正则),提取max_time,price,html中的json字符串
      • json
  • 保存

    • 保存在本地(text, json, csv)
    • 保存在数据库

关键词: 发送请求 可以使用 请求列表