最新要闻
- 关注:李子柒与微念达成和解 断更500多天的“她”何时回归?
- 焦点日报:Epic免费送《死亡搁浅》导剪版变标准版后续:官方删除道歉微博
- 环球关注:你在干啥?2022年中国人每天用手机时长创新高:都在狂刷视频、玩游戏等
- 百事通!Redmi K60把国产2K OLED屏从不可能变成现实:这过程很痛苦很艰辛
- 全球观点:苹果市值一夜蒸发约4431亿元 曝其有意砍价iPhone供应链 确保自己利润
- 热点聚焦:笔记本SSD普及率今年已达92%:机械硬盘凉凉了
- PC硬件机能榨干的日子一去不返!显卡危机不会再有了
- 【环球报资讯】机箱接口套路多 这些小知识你都知道吗?
- 【焦点热闻】设计时速250公里!银兰高铁全线开通运营:最快3小时可达
- 暴降千元性价比还是低!苹果欲放弃iPhone 14销售最差机型:你会买Plus吗
- 委员建议禁放烟花改为限时燃放 网友争议是否污染环境:多地明确禁放
- 头条焦点:AMD机会来了?商家预售NV RTX 4070 Ti:售价最高8399元
- 热推荐:卡梅隆急了!《阿凡达3》、《阿凡达4》已经开拍
- 焦点简讯:HTC Vive新品发布会定档1月6日:旗舰头显来了
- 全球视讯!TP-LINK Wi-Fi 7游戏路由器来了:三频19Gbps 双万兆网口
- 环球今亮点!又省117元 EPIC喜加一:硬核魂类游戏《致命躯壳 》免费送 手残党注意
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
【爬虫实战项目】Python爬取Top100电影榜单数据保存本地(附源码)
前言
今天给大家介绍的是Python爬取Top100电影榜单数据保存csv文件,在这里给需要的小伙伴们代码,并且给出一点小心得。
首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取的人会很多,所以我们需要考虑更换代理IP和随机更换请求头的方式来对Top100电影榜单数据进行爬取。
在每次进行爬虫代码的编写之前,我们的第一步也是最重要的一步就是分析我们的网页。
(相关资料图)
通过分析我们发现在爬取过程中速度比较慢,所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。
开发工具
Python版本:3.6
相关模块:
requests模块
time模块
parsel模块
csv模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
文中完整代码及文件,评论留言获取
思路分析
浏览器中打开我们要爬取的页面按F12进入开发者工具,查看我们想要的Top100电影榜单数据在哪里这里我们需要页面数据就可以了
代码实现
for page in range(0, 101, 10): time.sleep(2) url = "https://maoyan.com/board/4?offset={}".format(page) headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36", "Cookie": "__mta=20345351.1670903159717.1670903413872.1670903436333.5; uuid_n_v=v1; uuid=A8065B807A9811ED82C293D7E110319C9B09821067E1411AB6F4EC82889E1869; _csrf=916b8446658bd722f56f2c092eaae35ea3cd3689ef950542e202b39ddfe7c91e; Hm_lvt_703e94591e87be68cc8da0da7cbd0be2=1670903160; _lxsdk_cuid=1850996db5dc8-07670e36da28-26021151-1fa400-1850996db5d67; _lxsdk=A8065B807A9811ED82C293D7E110319C9B09821067E1411AB6F4EC82889E1869; __mta=213622443.1670903327420.1670903417327.1670903424017.4; Hm_lpvt_703e94591e87be68cc8da0da7cbd0be2=1670903436; _lxsdk_s=1850996db5e-8b2-284-88a%7C%7C18", "Host": "www.maoyan.com", "Referer": "https://www.maoyan.com/films/1200486" } response = requests.get(url, headers=headers) selector = parsel.Selector(response.text) li_s = selector.css(".board-wrapper dd") for li in li_s: name = li.css(".name a::text").get() star = li.css(".star::text").get() star_string = star.strip() releasetime = li.css(".releasetime::text").get() data_time = releasetime.strip() follow = li.css(".score i::text").getall() score = "".join(follow) dit = { "电影名字": name, "主演": star_string, "上映时间": data_time, "评分": score, } csv_write.writerow(dit) print(dit)
Cookie获取
效果展示
最后
今天的分享到这里就结束了 ,感兴趣的朋友也可以去试试哈
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/
-
【爬虫实战项目】Python爬取Top100电影榜单数据保存本地(附源码)
前言今天给大家介绍的是Python爬取Top100电影榜单数据保存csv文件,在这里给需要的小伙伴们代码,并且给...
来源: 【爬虫实战项目】Python爬取Top100电影榜单数据保存本地(附源码)
【天天新要闻】说透IO多路复用模型
关注:李子柒与微念达成和解 断更500多天的“她”何时回归?
焦点日报:Epic免费送《死亡搁浅》导剪版变标准版后续:官方删除道歉微博
环球关注:你在干啥?2022年中国人每天用手机时长创新高:都在狂刷视频、玩游戏等
百事通!Redmi K60把国产2K OLED屏从不可能变成现实:这过程很痛苦很艰辛
全球观点:苹果市值一夜蒸发约4431亿元 曝其有意砍价iPhone供应链 确保自己利润
DirtyPipe(CVE-2022-0847)漏洞分析
热点聚焦:笔记本SSD普及率今年已达92%:机械硬盘凉凉了
PC硬件机能榨干的日子一去不返!显卡危机不会再有了
【环球报资讯】机箱接口套路多 这些小知识你都知道吗?
【焦点热闻】设计时速250公里!银兰高铁全线开通运营:最快3小时可达
暴降千元性价比还是低!苹果欲放弃iPhone 14销售最差机型:你会买Plus吗
委员建议禁放烟花改为限时燃放 网友争议是否污染环境:多地明确禁放
头条焦点:AMD机会来了?商家预售NV RTX 4070 Ti:售价最高8399元
天天快讯:把WSL安装到指定目录下的简易完美方法
环球热点!Azure 使用技巧
热推荐:卡梅隆急了!《阿凡达3》、《阿凡达4》已经开拍
焦点简讯:HTC Vive新品发布会定档1月6日:旗舰头显来了
全球视讯!TP-LINK Wi-Fi 7游戏路由器来了:三频19Gbps 双万兆网口
环球今亮点!又省117元 EPIC喜加一:硬核魂类游戏《致命躯壳 》免费送 手残党注意
冬至都过了 北半球日照越来越长:为什么却越来越冷了呢?
AcWing245. 你能回答这些问题吗
2022年抖音用户最爱的十本书:四大名著霸占前四名
全球最大规模“沙戈荒”风电光伏基地项目开工 投资超800亿元
今日关注:《王者荣耀》2023年第一款皮肤官宣:传说品质 首周135元
关注:MAUI新生6.2-浮出控件导航Flyout-FlyoutItem/MenuItem/Header/Footer
世界信息:2022年抖音十大热点歌曲出炉:你听过几首?
男子网购N95口罩收到2瓶酱油 驿站:已拒收
观天下!谎称电脑中毒 印度团伙假冒微软工程师骗了美国人100多亿美元
顺丰:快递业的人海战术已近黄昏
环球快看点丨分享20个Javascript中的数组方法,收藏
基于 Dubbo Admin 实现同机房/区域优先
天天微资讯!Autodesk Maya2023 安装教程(小白看了也说understand)
焦点速递!分布式三大热门"IP"之分布式事务随笔
虚假新闻检测(CANMD)《Contrastive Domain Adaptation for Early Misinformation Detection:
世界要闻:全球出行需求爆棚:飞机制造巨头订单积压1.27万架 飞机远远不够用
焦点快播:三星推出43寸奥德赛Neo G7显示器:Mini-LED屏幕、支持144Hz高刷
最令人期待的2023新片
报道:2022年跨年档预售票房破1000万:《阿凡达2》仅位居第二
今年好莱坞最赔钱电影出炉:赔惨了
天天快播:Seata
【天天热闻】django 13 csrf 与 auth
IdentityServer4 - v4.x .Net中的实践应用
全球最新:第一百一十八篇: JavaScript 原型链式继承
【全球速看料】进口游戏版号时隔548天再发放!数量逐年下降
天天实时:2022年iPhone 14系列出货量下调 明年越南将加入生产
一加11打破安卓不可能!员工自己都不敢相信
全球要闻:兔年邮票“蓝兔子”引争议 真是童年阴影?邮政回应:没人投诉
一次多重体验:杰士邦三合一安全套30只19.9元发车
AcWing1169. 糖果
当前快讯:FreeSWITCH使用ODBC
【全球报资讯】基于NT架构脱胎换骨!QQ for Linux 3.0正式版上架官网
环球实时:卡梅隆自曝《阿凡达2》10分钟删减镜头:动作暴力元素相关
每日焦点!老外评选2022年10款最佳RPG游戏:老头环等上榜
无人驾驶可达80km/h:深圳坪山云巴1号线正式通车
【全球聚看点】还买啥Zen4 酷睿i7-12700KF到手2149元:12核5GHz游戏神U
.NET和JavaScript控件丨Infragistics功能简介
环球今热点:网友吃火锅被反向抹零多收0.3元 店家:四舍五入系统设定
【天天速看料】首发极具颠覆性技术 比亚迪仰望发布定档:明年1月5日见
全球短讯!根治安卓卡顿的旗舰来了!网友做梦梦到一加11:现在就想买 等不及了
世界微速讯:苹果高端制造离不开中国 iPhone 15 Pro Max新增立讯代工:富士康不再是唯一
天天快看点丨郑州200多车相撞事故已致1死 大雾是元凶:雾天行车指南要收好
天天报道:隐性等待和显性等待
python中的mysql操作教程及实例
大牌现货:超亚N95口罩84.9元30片发车
全球通讯!封杀半年之后微软“开恩” 俄罗斯网友可以下载Win11了
2022年进口网络游戏审批结果公布:腾讯《宝可梦大集结》等游戏在列
天天观察:世界最大液体镜面望远镜启用 成本仅为玻璃反射镜的1%
快播:NOIP动态规划
每日聚焦:数据结构(Data Structure)的基本思想是增删改查
环球视点!宝塔网站批量迁移
环球速看:首架C919机组人员分享飞行体验:感受很好、令人信任
加绒不加价:361°全革运动鞋99元大促(门店259元)
环球即时看!GTX 1060三朝元老还能被迫营业?
二代骁龙8折叠旗舰!vivo X Fold 2来了:2K轻薄大屏
实时焦点:不下载不让看全文成为历史!工信部新规将禁止网页强制用户下载应用
开发工具与低代码开发平台丨上海道宁联合Grapecity为您提供各类软件开发工具和服务
当云原生网关遇上图数据库,NebulaGraph 的 APISIX 最佳实践
天天看点:LOJ 6041 「雅礼集训 2017 Day7」事情的相似度 题解 (SAM+启发式合并)
当前热讯:WinNTSetup V5.3.0 Bata5 单文件版
一分钟搞定Netty 三大组件,如果搞不定,再看3遍
世界播报:《阿凡达2》差的远!2022国内电影票房前10:第一超40亿
前沿热点:折叠旗舰卖到白菜价!moto razr 2022宣布调价至4999元
美国人钱包年末又迎重击!极端寒潮导致上周电价飙升超6000%
天天时讯:或售70万对刚比亚迪!东风猛士M-Terrain量产实车曝光:凶悍
只有Redmi做到了!米粉没想到2022年2500元的手机都有无线充电
环球热文:隐私计算之多方安全计算(MPC,Secure Multi-Party Computation)
河南郑新黄河大桥因大雾多车相撞:涉及200多辆车
速递!安卓手机不卡顿!一加11内存基因重组技术揭秘:数据抓取量提升16倍
特斯拉股价年内暴跌70% 韩国散户疯狂抄底!背后原因不简单
女生病假期上9天班反欠公司三百多:被扣10天工资
环球速看:曝特斯拉上海工厂将在1月实施减产计划 原因未知
直降120:百度网盘超级会员12个月SVIP 178元大促
今日关注:交叉编译esp8089
【环球新要闻】Python中itertools详解
playgo是什么意思?playgo是什么牌子?
十年之痒是什么意思?十年之痒的婚姻感悟小说有哪些?
【天天聚看点】女子投资100万元 本金4年仅剩1.71万元!基金经理被集体起诉
神价手慢无:OATLY噢麦力燕麦奶1L*2瓶/19.9元抄底