最新要闻
- 精彩看点:苹果为延长iPhone 14 Pro灵动岛面板使用寿命!要求三星用喷墨打印密封工艺
- 当前热点-女子放生2.5万斤鲇鱼被起诉:偏肉食动物 入侵能力极强
- 天天热推荐:不愧电动爹?零下25度暴风雪中的特斯拉Model 3:电池预热45分钟后才充上电
- 每日快报!mini LED和LCD将要拜拜了 iPad Pro未来会升级OLED屏
- 能跑1200公里 长城魏牌六座旗舰SUV正式亮相:前脸大改!
- 2022年这5款熟悉的产品向我们告别 太可惜了
- 全球快播:Lightning再见!第二大手机国印度强推USB-C接口:iPhone必须换
- 天天滚动:Epic今年终极一送:好评如潮游戏《羞辱》免费领!省173块
- 全球热推荐:纯钛杯身!小米米家保温杯Ti首批卖光了:30小时众筹金额破50万元
- SSD也没人买了?未来三年增速下滑:降价吸引力也不大
- 世界微资讯!暴雪仍没找到人接盘!《魔兽世界》等国服将停止 网易称服务到最后一刻
- 环球快看点丨iPhone 15系列差异化加大:iPhone 15 Plus或大降价
- 全球信息:我注册B站3736天了!还记得10年前的小破站什么样吗?
- 每日观察!一年一度的进口游戏版号来了 这次有不少“硬货”!
- 要闻:威马汽车拿到四川的救命钱!但负面缠身的它还能活过来吗?
- 简讯:航空工业AS700民用飞艇02架首飞成功:可载9人、能飞10小时
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
世界资讯:【爬虫实战项目】Python爬虫批量下载网易云音乐飙升榜并保存本地(附源码)
前言
今天给大家介绍的是Python爬虫批量下载音乐飙升榜并保存本地,在这里给需要的小伙伴们代码,并且给出一点小心得。
(相关资料图)
首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取的人会很多,所以我们需要考虑更换代理IP和随机更换请求头的方式来对音乐飙升榜进行爬取。
在每次进行爬虫代码的编写之前,我们的第一步也是最重要的一步就是分析我们的网页。
通过分析我们发现在爬取过程中速度比较慢,所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。
开发工具
Python版本:3.6
相关模块:
requests模块
time模块
parsel模块
re模块
time模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
文中完整代码及文件,评论留言获取
数据来源查询分析
浏览器中打开我们要爬取的页面按F12进入开发者工具,查看我们想要的音乐飙升榜在哪里这里我们需要页面数据就可以了
代码实现
url = "https://www.kugou.com/yy/html/rank.html"# 请求头: 把python代码伪装成浏览器对服务器发送请求, 服务接收到请求,确认无误 会返回一个响应体数据 (response)# user-agent : 浏览器基本信息headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.114 Safari/537.36" "Cookie": "你的Cookie"}response = requests.get(url=url, headers=headers)# 获取响应体文本数据 response.text# print(response.text)# 返回是字符串# 解析数据 提取每个榜单url地址 css选择器 主要根据标签的属性内容提取数据# 需要把获取到 response.tex 文本数据 转换成 selector 解析对象selector = parsel.Selector(response.text)# attr() 属性选择器 选择a标签里面的href属性# getall() 获取所有A标签里面的内容 返回的是列表# get() 获取一个a标签里面的内容 返回的是字符串# 直接取标签文本数据 texthref = selector.css(".pc_rank_sidebar li a::attr(href)").getall()href = href[15:] # 列表切片for index in href: response_2 = requests.get(url=index, headers=headers) # 正则表达式里面 () 精确匹配 提取的内容 # .*? 通配符 可以匹配任意字符返回是列表 # \d 匹配一个数字 \d+ 匹配多个数字 Hash_list = re.findall(""Hash":"(.*?)"", response_2.text) id_list = re.findall(""album_id":(\d+),", response_2.text) zip_data = zip(Hash_list, id_list) for link in zip_data: time.sleep(1) now_time = int(time.time() *1000) hash = link[0] music_id = link[1] link_url = "https://wwwapi.kugou.com/yy/index.php" # get请求的url 问号后面的参数 都是属于 请求参数 # params 请求参数 # ? 非贪婪匹配 贪婪匹配 . 匹配任意一个字符(除了\n) * 匹配前字符 一个或者多个 params = { "r": "play/getdata", # "callback": "jQuery1910035165171305796106_1624450739070", "hash": hash, "dfid": "4WPBq03cK0E03W1gW53TM7Vs", "mid": "562939428ef6d5d8272814a5058a411b", "platid": "4", "album_id": music_id, "_": now_time, } response_3 = requests.get(url=link_url, params=params, headers=headers)
获取Cookie
效果展示
最后
今天的分享到这里就结束了 ,感兴趣的朋友也可以去试试哈
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/
-
世界资讯:【爬虫实战项目】Python爬虫批量下载网易云音乐飙升榜并保存本地(附源码)
前言今天给大家介绍的是Python爬虫批量下载音乐飙升榜并保存本地,在这里给需要的小伙伴们代码,并且给...
来源: 世界资讯:【爬虫实战项目】Python爬虫批量下载网易云音乐飙升榜并保存本地(附源码)
世界看热讯:分布式、集群、微服务、微前端、负载均衡的概念
精彩看点:苹果为延长iPhone 14 Pro灵动岛面板使用寿命!要求三星用喷墨打印密封工艺
当前热点-女子放生2.5万斤鲇鱼被起诉:偏肉食动物 入侵能力极强
天天热推荐:不愧电动爹?零下25度暴风雪中的特斯拉Model 3:电池预热45分钟后才充上电
每日快报!mini LED和LCD将要拜拜了 iPad Pro未来会升级OLED屏
能跑1200公里 长城魏牌六座旗舰SUV正式亮相:前脸大改!
关系型数据库 和 非关系型数据库
2022年这5款熟悉的产品向我们告别 太可惜了
全球快播:Lightning再见!第二大手机国印度强推USB-C接口:iPhone必须换
天天滚动:Epic今年终极一送:好评如潮游戏《羞辱》免费领!省173块
全球热推荐:纯钛杯身!小米米家保温杯Ti首批卖光了:30小时众筹金额破50万元
SSD也没人买了?未来三年增速下滑:降价吸引力也不大
世界微资讯!暴雪仍没找到人接盘!《魔兽世界》等国服将停止 网易称服务到最后一刻
世界快资讯丨博客园图片问题
环球快看点丨iPhone 15系列差异化加大:iPhone 15 Plus或大降价
全球信息:我注册B站3736天了!还记得10年前的小破站什么样吗?
每日观察!一年一度的进口游戏版号来了 这次有不少“硬货”!
要闻:威马汽车拿到四川的救命钱!但负面缠身的它还能活过来吗?
简讯:航空工业AS700民用飞艇02架首飞成功:可载9人、能飞10小时
回归童年的美好 守住童年的回忆 那些年你玩过的游戏都有呢
mysql之索引
游戏免费送 折扣超Steam Epic的冬季特卖属实有点暴力了
全球讯息:网信办通报173款APP:正“偷窥”你的隐私 赶紧卸载
速递!Python 面向对象进阶
最资讯丨10 个你需要熟悉的 CSS3 属性
当前滚动:广西现大型金属残骸 现场升起火苗:原来是火箭助推器
天天观天下!Codeforces 1336 F Journey 题解
每日精选:马斯克SpaceX公司副总裁私人飞机冲出跑道 网友:人身安全警告?
报道:浙江多地下雪 2023年第一股冷空气来了
2万多的日本水晶椅看着太像刑具:屁股瑟瑟发抖
世界动态:2023年最受期待的十款国产游戏 《黑神话:悟空》位列第一
当前头条:FreeSWITCH给Say模块增加中文语音
全球微头条丨12核Zen4又降价了 AMD锐龙9 7900X到手3259元(首发4299)
观察:小米送福利!MIX Fold 2用户花1分钱可领399元保护壳
热资讯!仍由腾讯代理!《CF》开发商新作《命运方舟》国服官宣:2023年上线
【热闻】周鸿祎:360现在的对手不再是国内同行
苹果手表血氧监测功能被指有种族偏见 在美国被告上法庭
Fiddler V5.0 英文/汉化 Windows 抓包工具 【12月29日亲测有效】
RX 7900危了 消息称RTX 4070 Ti显卡降价700元:性价比大增
当前焦点!卡丁车手比赛撞柱身亡 主办方回应:赛道由专业设计师设计
天天微资讯!Doge表情包原型柴犬患白血病和肝病:情况糟糕、生命危险
环球看热讯:明星带货表演砍价被调侃演技巅峰上热搜:律师喊话先涨再降涉嫌价格欺诈
比亚迪大屏立功 中国乘用车仪表盘平均尺寸将增至近10英寸
世界微资讯!AMD、NV让你失望了!2023年显卡价格仍将居高不下 降价希望渺茫
【天天快播报】骨折价没人要!首架波音747-8宣告报废:才飞了不到30小时
《阿凡达2》成2022全球票房亚军!仅次于《壮志凌云2》
世界通讯!今年春节乐趣不限量!PICO 4新春礼盒成年货新选择
如何选购云服务器
终极.NET混淆器丨.NET Reactor产品介绍
linux跟踪技术之ebpf
天天快报!AcWing246. 区间最大公约数
【世界独家】30层楼高、叶轮直径191米!国内单机容量最大高原山地风机成功吊装
全球今头条!19999元!铁威马发布12盘位NAS T12-450:总容量可达240TB
羊了个羊创始人没想到一季度挣了20万:公司仅7人参保
焦点速递!俞敏洪最想读的三本书:《道德经》《红楼梦》《金瓶梅》
Cubase11安装破解图文教程 【2022年12月29日亲测有效】
焦点速读:linux Makefile 如何将生成的 .o 文件放到指定文件夹
热点聚焦:python字典中dict.get()和dict.setdefault()的异同点
LG发布全新光学变焦手机镜头模组:支持4~9倍光学变焦自由切换
【独家】女子搬家后发现新房藏有豪华地堡:眼尖网友指出关键所在
每日简讯:《羊了个羊》老板曾被嘲笑不懂做游戏:最初目标是一季度挣20万
当前热议!一加携手AAC瑞声科技联合打造!官方详解安卓最强马达细节
【聚看点】网络游戏作品首次!《王者荣耀》《和平精英》入藏中国国家版本馆
热点在线丨还有企业没有在用JNPF吗! 适配于多行业的管理系统,各企业之首选
速看:火山引擎 DataTester:如何做 A/B 实验的假设检验
每日热议!折腾了我一周,原来Netty网络编程就是这么个破玩意儿!!!
【报资讯】LF Professional及WINTERACTER产品简介
全球短讯!几个函数的使用例子:更新VBRK-XBLNR,IB01设备BOM创建,LI11N输入库存盘点
速看:Chrome浏览器强化安全性:将阻止HTTP链接下载文件
真功夫快餐成被执行人:之前因侵权被功夫巨星李小龙之女起诉
热讯:京东苹果年货节超低价:iPhone 14系列最高降1000元
天天新资讯:壕无人性!Uzi沉迷《原神》竟然直播时充钱充到限额
世界短讯!赢麻!我国世界热点论文数量第一:远超美国、日本
天天日报丨【Python语法糖】闭包和装饰器
天天热头条丨Intel 13代酷睿i5-1350P使劲挤牙膏:只提升了2%
简讯:对标理想L8、问界M7 魏牌首款大六座SUV官宣:设计很有料
3999元 红魔8 Pro系列首销火爆售罄:高管感到出乎意料
天天时讯:致郑新黄河大桥200多辆车连撞!河南气象台回应郑州未发大雾预警
苹果市值一夜蒸发约4431亿元:iPhone出货量将迎锐减 万元高端机买不动了
每日热讯!郑州200多车相撞 雾天驾车开雾灯还是双闪灯?网友吵翻
信息:电竞级调校!Redmi K60 Pro《原神》须弥城跑图实测:1小时不降亮度
环球滚动:VueJS使用addEventListener的事件如何触发执行函数的this
农四师是什么意思?农四师属于哪个地区?
【焦点热闻】说好的比加油方便呢:英国特斯拉车主抱怨充电要排队数小时
世界视点!4999元 米粉入手小米13限定色:他最满意的安卓手机 太凉快了
今日热文:Win11 2023年“Moment 3”更新内容流出:将针对折叠屏设备进行优化
天天观热点:基于北斗定位实现!高德地图在全国近360城上线“绿灯导航”
2023新剧排排坐
时代少年团综艺节目有哪些?时代少年团成员资料
岁月不居天道酬勤是什么意思?时光不居天道酬勤的出处是哪里?
梅林是什么意思?梅林固件有什么功能?
指纹膜是什么?如何自制指纹膜?
骆驼的体重大约是多少?骆驼奶粉的功效和作用
湖北人有哪些特点?湖北人为什么被称为九头鸟?
包上恩演的电视剧有哪些?包上恩个人资料身高详情
大音希声扫阴翳是什么意思?大音希声扫阴翳出自哪里?
补丁怎么用?补丁的作用有哪些?
联想扬天4600c怎么样?联想扬天4600c参数
win7搜索在哪里?win7蓝牙怎么开启?