最新要闻

广告

手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

 警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

  1. 首页
  2. 移动通信
  3. 内容

【全球时快讯】Python爬虫实战，requests+xlwt模块，爬取螺蛳粉商品数据（附源码）

来源：博客园

前言

今天给大家介绍的是Python爬取螺蛳粉商品数据，在这里给需要的小伙伴们代码，并且给出一点小心得。

首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫，基本的是加请求头，但是这样的纯文本数据爬取的人会很多，所以我们需要考虑更换代理IP和随机更换请求头的方式来对螺蛳粉数据进行爬取。


【资料图】

在每次进行爬虫代码的编写之前，我们的第一步也是最重要的一步就是分析我们的网页。

通过分析我们发现在爬取过程中速度比较慢，所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。

开发工具

Python版本：3.6

相关模块：

requests模块

json模块

re模块

time模块

xlwt模块

xlrd模块

环境搭建

安装Python并添加到环境变量，pip安装需要的相关模块即可。

思路分析

浏览器中打开我们要爬取的页面按F12进入开发者工具，查看我们想要的螺蛳粉商品数据在哪里这里我们需要页面数据就可以了

代码实现

headers = {    #"Host":"s.taobao.com",    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36",    "cookie":"你的Cookie",    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",    "accept-encoding": "gzip, deflate, br",    "accept-language": "zh-CN,zh;q=0.9",    "upgrade-insecure-requests": "1",    "referer":"https://www.taobao.com/",}#请求网页内容url="https://s.taobao.com/search?q=螺蛳粉&ie=utf8&bcoffset=0&ntoffset=0&s=0"#requests+请求头headersr = requests.get(url, headers=headers)r.encoding = "utf8"s = (r.content)#乱码问题html = s.decode("utf8")# 初始化execl表def initexcel():    # 创建一个workbook 设置编码    workbook = xlwt.Workbook(encoding="utf-8")    # 创建一个worksheet    worksheet = workbook.add_sheet("sheet1")    workbook.save("螺蛳粉.xls")    ##写入表头    value1 = [["标题", "销售地", "销售量", "评论数", "销售价格", "商品惟一ID", "图片URL"]]    book_name_xls = "螺蛳粉.xls"    write_excel_xls_append(book_name_xls, value1)# 正则模式p_title = ""raw_title":"(.*?)""       #标题p_location = ""item_loc":"(.*?)""    #销售地p_sale = ""view_sales":"(.*?)人付款"" #销售量p_comment = ""comment_count":"(.*?)""#评论数p_price = ""view_price":"(.*?)""     #销售价格p_nid = ""nid":"(.*?)""              #商品惟一IDp_img = ""pic_url":"(.*?)""          #图片URL# 数据集合data = []# 正则解析title = re.findall(p_title,html)location = re.findall(p_location,html)sale = re.findall(p_sale,html)comment = re.findall(p_comment,html)price = re.findall(p_price,html)nid = re.findall(p_nid,html)img = re.findall(p_img,html)for j in range(len(title)):    data.append([title[j],location[j],sale[j],comment[j],price[j],nid[j],img[j]])# 写入execldef write_excel_xls_append(path, value):    index = len(value)  # 获取需要写入数据的行数    workbook = xlrd.open_workbook(path)  # 打开工作簿    sheets = workbook.sheet_names()  # 获取工作簿中的所有表格    worksheet = workbook.sheet_by_name(sheets[0])  # 获取工作簿中所有表格中的的第一个表格    rows_old = worksheet.nrows  # 获取表格中已存在的数据的行数    new_workbook = copy(workbook)  # 将xlrd对象拷贝转化为xlwt对象    new_worksheet = new_workbook.get_sheet(0)  # 获取转化后工作簿中的第一个表格    for i in range(0, index):        for j in range(0, len(value[i])):            new_worksheet.write(i+rows_old, j, value[i][j])  # 追加写入数据，注意是从i+rows_old行开始写入    new_workbook.save(path)  # 保存工作簿#保存数据book_name_xls = "螺蛳粉.xls"write_excel_xls_append(book_name_xls, data)time.sleep(6)

如何获取Cookie

结果展示

最后

今天的分享到这里就结束了 ，感兴趣的朋友也可以去试试哈

对文章有问题的，或者有其他关于python的问题，可以在评论区留言或者私信我哦

觉得我分享的文章不错的话，可以关注一下我，或者给文章点赞(/≧▽≦)/

关键词： 销售价格 相关模块 写入数据