手机

iphone11大小尺寸是多少？苹果iPhone11和iPhone13的区别是什么？

警方通报辅警执法直播中被撞飞：犯罪嫌疑人已投案

家电

世界快消息！【2023微博签到爬虫】用python爬上千条m端微博签到数据

2023-02-07 10:04:32 来源：博客园

一、爬取目标

大家好，我是 @马哥python说，一枚10年程序猿。

(相关资料图)

今天分享一期python爬虫案例，爬取目标是新浪微博的微博签到数据，字段包含：页码,微博id,微博bid,微博作者,发布时间,微博内容,签到地点,转发数,评论数,点赞数

经过分析调研，发现微博有3种访问方式，分别是：

PC端网页：https://weibo.com/
移动端：https://weibo.cn/
手机端：https://m.weibo.cn/

最终决定，通过手机端爬取。

这里，给大家分享一个爬虫小技巧。当目标网站既存在PC网页端，又有手机移动端，建议爬取移动端，原因是：移动端一般网页结构简单，并且反爬能力较弱，更方便爬虫爬取。

二、展示爬取结果

通过爬虫代码，爬取了“环球影城”这个关键字下的前100页微博，部分数据如下：

一共翻页了100页，大概1000条左右微博。

三、讲解代码

首先，导入需要用到的库：

import os  # 判断文件存在import re  # 正则表达式提取文本import requests  # 发送请求import pandas as pd  # 存取csv文件import datetime  # 转换时间用

然后，定义一个转换时间字符串的函数，因为爬取到的时间戳是GMT格式（类似这种：Fri Jun 17 22:21:48 +0800 2022）的，需要转换成标准格式：

def trans_time(v_str):    """转换GMT时间为标准格式"""    GMT_FORMAT = "%a %b %d %H:%M:%S +0800 %Y"    timeArray = datetime.datetime.strptime(v_str, GMT_FORMAT)    ret_time = timeArray.strftime("%Y-%m-%d %H:%M:%S")    return ret_time

定义一个请求头，后面发送请求的时候带上它，防止反爬：

# 请求头headers = {    "User-Agent": "Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Mobile Safari/537.36",    "accept": "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9",    "accept-encoding": "gzip, deflate, br",}

打开chrome浏览器，在m端网址搜索"环球影城"，选择地点，选择第一条搜索结果"北京环球影城"，如下：

获取地点对应的containerid，后面会用到，爬虫代码如下：

def get_containerid(v_loc):    """    获取地点对应的containerid    :param v_loc: 地点    :return: containerid    """    url = "https://m.weibo.cn/api/container/getIndex"    # 请求参数    params = {        "containerid": "100103type=92&q={}&t=".format(v_loc),        "page_type": "searchall",    }    r = requests.get(url, headers=headers, params=params)    cards = r.json()["data"]["cards"]    scheme = cards[0]["card_group"][0]["scheme"]  # 取第一个    containerid = re.findall(r"containerid=(.*?)&", scheme)[0]    print("[{}]对应的containerid是：{}".format(v_loc, containerid))    return containerid

点击第一个地点"北京环球影城"，跳转到它对应的微博签到页面：

首先打开开发者模式，然后往下翻页，多翻几次，观察XHR页面的网络请求：

根据分析结果，编写请求代码：

# 请求地址url = "https://m.weibo.cn/api/container/getIndex"# 请求参数params = {    "containerid": containerid,    "luicode": "10000011",    "lcardid": "frompoi",    "extparam": "frompoi",    "lfid": "100103type=92&q={}".format(v_keyword),    "since_id": page,}

其中，since_id每次翻页+1，相当于页码数值。

请求参数，可以在Payload页面获取：

下面开始发送请求并解析数据：

# 发送请求r = requests.get(url, headers=headers, params=params)print(r.status_code)  # 查看响应码# 解析json数据try:    card_group = r.json()["data"]["cards"][0]["card_group"]except:    card_group = []

定义一些空列表，用于后续保存数据：

time_list = []  # 创建时间author_list = []  # 微博作者id_list = []  # 微博idbid_list = []  # 微博bidtext_list = []  # 博文text2_list = []  # 博文2loc_list = []  # 签到地点reposts_count_list = []  # 转发数comments_count_list = []  # 评论数attitudes_count_list = []  # 点赞数

以"微博博文"为例，展示代码，其他字段同理，不再赘述。

# 微博博文text = card["mblog"]["text"]text_list.append(text)

把所有数据保存到Dataframe里面：

# 把列表数据保存成DataFrame数据df = pd.DataFrame(    {        "页码": page,        "微博id": id_list,        "微博bid": bid_list,        "微博作者": author_list,        "发布时间": time_list,        "微博内容": text2_list,        "签到地点": loc_list,        "转发数": reposts_count_list,        "评论数": comments_count_list,        "点赞数": attitudes_count_list,    })

最终，把所有数据保存到csv文件：

# 表头if os.path.exists(v_weibo_file):    header = Falseelse:    header = True# 保存到csv文件df.to_csv(v_weibo_file, mode="a+", index=False, header=header, encoding="utf_8_sig")print("csv保存成功:{}".format(v_weibo_file)))

说明一下，由于每次保存csv都是追加模式（mode="a+"），所以加上if判断逻辑：

如果csv存在，说明不是第一次保存csv，不加表头；
如果csv不存在，说明是第一次保存csv，加上表头。

如此，可避免写入多次表头的尴尬局面。

整个代码中，还含有：正则表达式提取博文、爬取展开全文、从博文中提取签到地点、数据清洗（删除空数据、去重复）等功能，详细请见原始代码。

四、同步视频

代码演示视频：https://www.zhihu.com/zvideo/1605933587244658688

五、附完整源码

完整源码：【python爬虫案例】爬了上千条m端微博签到数据

推荐阅读：【python爬虫案例】爬取微博任意搜索关键词的结果，以“唐山打人”为例

关键词：发送请求请求参数转换时间