最新要闻
- 【天天速看料】苹果推出跨年优惠 其实一点也没便宜
- 时讯:株洲卡丁车比赛事故致车手死亡后续 车手俱乐部声讨场地方
- 全球今日讯!彻底重构安卓内存底层!一加11将全球首发“内存基因重组”技术
- 天天微资讯!马斯克被曝内部圈子缺乏持不同观点的人:全是马屁精
- 全球滚动:K60发布后 倪飞发声:努比亚Z50才是旗舰焊门员
- 世界观点:RTX 4090玩游戏性能过剩 外星人懂了:将推500Hz高刷显示器
- 苹果股价三连跌创一年多来最低:2022累计蒸发27%
- 性能仅比3080略强?RTX 4070 Ti售价曝光 7199元你还可能买不到
- 全球快资讯:6年过去了:一代神卡GTX 1060依然值得入手
- 天天微头条丨平价神器!新iPad mini曝光:苹果加量不加价、还在密谋折叠屏惊喜
- 环球快看点丨马斯克赔哭 公司股价腰斩!消息称特斯拉上海工厂又要减产 卖不动国人不敢兴趣?
- 速看:中国GPU欲弯道超车:国产显卡向AMD、NV发起冲击
- 【播资讯】华硕发布灵耀AX小魔方Pro分布式路由:双频3000M 449元
- 威联通发布TS-1655 NAS:可塞入16块硬盘 超级别墅
- 全球热文:男子嫌妻子开车水平差 醉驾被查:这下5年内别嫌弃了
- 一家比苹果还赚钱的日本企业:日本人自己都不知道
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
Python爬虫实战,requests+openpyxl模块,爬取小说数据并保存txt文档(附源码)
前言
今天给大家介绍的是Python爬取小说数据并保存txt文档,在这里给需要的小伙伴们代码,并且给出一点小心得。
(资料图片仅供参考)
首先是爬取之前应该尽可能伪装成浏览器而不被识别出来是爬虫,基本的是加请求头,但是这样的纯文本数据爬取的人会很多,所以我们需要考虑更换代理IP和随机更换请求头的方式来对小说数据进行爬取。
在每次进行爬虫代码的编写之前,我们的第一步也是最重要的一步就是分析我们的网页。
通过分析我们发现在爬取过程中速度比较慢,所以我们还可以通过禁用谷歌浏览器图片、JavaScript等方式提升爬虫爬取速度。
开发工具
Python版本:3.6
相关模块:
requests模块
parsel模块
tqdm模块
pandas模块
环境搭建
安装Python并添加到环境变量,pip安装需要的相关模块即可。
文中完整代码及小说,评论留言获取
思路分析
浏览器中打开我们要爬取的页面按F12进入开发者工具,查看我们想要的小说数据在哪里这里我们需要页面数据就可以了
Cookie获取
代码实现
headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/108.0.0.0 Safari/537.36", #"Cookie": "你的Cookie"}def get_response(html_url): """发送请求""" # headers 字典类型 键值对 :隔开 # headers 请求头的作用: 把python代码伪装成浏览器对服务器发送请求 response = requests.get(url=html_url, headers=headers) time.sleep(6) return responsedef save(name, title, content): with open(name + ".txt", mode="a", encoding="utf-8") as f: f.write(title) f.write("\n") f.write(content) f.write("\n")def get_novel_content(html_url): response = get_response(html_url) # parsel 解析数据 是需要把获取到的html字符串数据 转换成 selector 对象 # selector 对象 调用封装好的 css选择器 xpath # 解析数据 提取小说url章节地址 小说名字 selector = parsel.Selector(response.text) # css选择器 通过标签属性 提起数据 name = selector.css("#info h1::text").get() href = selector.css("#list dd a::attr(href)").getall() # get 获取一个标签内容[字符串] getall 是获取所有标签属性内容[列表] # 想要把列表里面每一个元素都提取出来的话, 是需要通过遍历 for index in href: # https://www.biquges.com/10_10770/6896120.html index_url = "https://www.biquges.com" + index response_1 = get_response(index_url) selector_1 = parsel.Selector(response_1.text) title = selector_1.css(".bookname h1::text").get() print(title) content_list = selector_1.css("#content::text").getall() # 保存文本数据 是字符串的形式 # 把列表转换成字符串 str() 强制转换数据类型 content = "".join(content_list) save(name, title, content)
结果展示
最后
今天的分享到这里就结束了 ,感兴趣的朋友也可以去试试哈
对文章有问题的,或者有其他关于python的问题,可以在评论区留言或者私信我哦
觉得我分享的文章不错的话,可以关注一下我,或者给文章点赞(/≧▽≦)/
-
Python爬虫实战,requests+openpyxl模块,爬取小说数据并保存txt文档(附源码)
前言今天给大家介绍的是Python爬取小说数据并保存txt文档,在这里给需要的小伙伴们代码,并且给出一点小...
来源: -
关注:面试官问:为啥不建议使用 Select *?请你大声地回答他!!
作者:小目标青年来源:https: blog csdn net qq_35387940 article details 125921218前言不建议使用select*这几个字眼,做开发的
来源: -
即时:DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
熟悉Taier的小伙伴们应该都知道,在11月7日发布的Taier1 3新版本中,我们融合了「DataSourceX模块」。...
来源: Python爬虫实战,requests+openpyxl模块,爬取小说数据并保存txt文档(附源码)
关注:面试官问:为啥不建议使用 Select *?请你大声地回答他!!
即时:DAG任务调度系统 Taier 演进之道,探究DataSourceX 模块
【天天速看料】苹果推出跨年优惠 其实一点也没便宜
时讯:株洲卡丁车比赛事故致车手死亡后续 车手俱乐部声讨场地方
全球今日讯!彻底重构安卓内存底层!一加11将全球首发“内存基因重组”技术
天天微资讯!马斯克被曝内部圈子缺乏持不同观点的人:全是马屁精
全球滚动:K60发布后 倪飞发声:努比亚Z50才是旗舰焊门员
世界观点:RTX 4090玩游戏性能过剩 外星人懂了:将推500Hz高刷显示器
苹果股价三连跌创一年多来最低:2022累计蒸发27%
性能仅比3080略强?RTX 4070 Ti售价曝光 7199元你还可能买不到
全球快资讯:6年过去了:一代神卡GTX 1060依然值得入手
天天微头条丨平价神器!新iPad mini曝光:苹果加量不加价、还在密谋折叠屏惊喜
环球快看点丨马斯克赔哭 公司股价腰斩!消息称特斯拉上海工厂又要减产 卖不动国人不敢兴趣?
速看:中国GPU欲弯道超车:国产显卡向AMD、NV发起冲击
【天天新要闻】实现小程序onShow第一次页面加载不执行
Java String类为什么用final修饰
天天通讯!Spring IOC官方文档学习笔记(五)之bean的作用域
【播资讯】华硕发布灵耀AX小魔方Pro分布式路由:双频3000M 449元
威联通发布TS-1655 NAS:可塞入16块硬盘 超级别墅
全球热文:男子嫌妻子开车水平差 醉驾被查:这下5年内别嫌弃了
一家比苹果还赚钱的日本企业:日本人自己都不知道
快讯:一文带你入门Transformer
全球观焦点:飞机票+高铁票可以一起买了:仅一笔支付 支持30个城市
今日要闻!听吐了!一对夫妻决定众筹买下《圣诞曲》版权将其下架
观点:国际空间站宇宙飞船发生泄漏 俄罗斯公布原因:外部机械性损坏
AcWing. 1165.单词环
全球热推荐:绚丽又冷静!酷冷至尊莫比乌斯风扇评测:马力全开也只有60分贝
当前资讯!剧情澎湃!张艺谋新片《满江红》定档春节 双男主沈腾+易烊千玺
【天天报资讯】字节掐准了商家命门
全球即时看![数据结构]单向链表的翻转(C语言)
【世界速看料】诺基亚、爱立信宣布退出 俄罗斯移动网路恐将倒退30年
速读:日系车笑了:国人把丰田买成了全球第一
每日速递:差价800元 Redmi K60与K60 Pro如何选?这三点不同
《王者荣耀》吕布FMVP皮肤来了:2023年第一款皮肤
观点:与微念和解 停更531天的李子柒何时复出?回应来了
全球播报:FreeSWITCH编译加载新模块
python学习: fire库的使用教程
可能是Redmi最帅手机!Redmi K60 Pro亮相
焦点速讯:卢伟冰:Redmi K60 Pro干掉了电竞手机 将被市场淘汰
支付宝迎来“史诗级”更新:深色模式终于开启测试
天降横财!土耳其在黑海发现580亿立方米天然气
焦点讯息:日本N多影院设备陈旧 无法播放《阿凡达2》48帧版:影迷大规模退票
window10/window11不能登录微软账户等
焦点速递!cmd命令curl的简单使用以及通过ip查所对应地址的方法
环球今亮点!Gateway
相当差劲!中汽研公布新一批碰撞测试:合创Z03仅获三星
博主称餐厅虚假营销:抓起帝王蟹扯腿吃掉
世界通讯!十年N饭称AMD显卡驱动有一个优点 就是不太稳定
全球消息!轻松瓦解重油污 奥妙桂花青梅香型洗洁精4 x 1.1KG 29.9元
鹤岗铁路开通运营:“绿巨人”开到中国最北端!时速160公里
比304更昂贵的316L不锈钢 富光真空保温杯年末清仓:多款式多容量可选
当前信息:清幽雅致 索泰RTX 4080 AMP EXTREME AIRO月白图赏
焦点播报:豪华超跑质感!Redmi K60冠军版官宣
焦点热议:AcWing361. 观光奶牛
即时:10 种超好用的 MyBatis 写法,同事都说好用!
焦点!【记录贴】项目经理的进阶日常:靠年终总结获得了核心项目的机会
Atcoder Grand Contest AGC 060 D Same Descent Set 题解 (容斥,多项式)
焦点精选!英国工程师警告:电动车可能导致停车场坍塌 原因意想不到
全球新动态:荣耀平板V8 Pro预装MagicOS 7.0 赵明:跨设备非常强 将与苹果竞争
天天微头条丨我国成功发射高分十一号04星 首次实现中继星数据双向高速互传
太阴间了!荷兰一车企推出特斯拉Model 3定制灵车
环球热头条丨荣耀赵明:荣耀笔记可记录瞬间灵感 未来将在多端流转
Java基本数据类型
环球焦点!易基因|深度综述:癌症中RNA修饰机制的遗传和表观遗传失调(m6A+m1A+m5C+ψ)
焦点速讯:2.4折发车:361° 新款休闲老爹鞋99元官方大促
谷歌旗舰Pixel 7遭品控问题:带壳使用后摄玻璃依旧碎裂
焦点热议:驾校学车被撞伤获赔23万 学员用不用担责?法院如此判决
环球热讯:奔驰GLS国产平替 北京越野BJ90山河经典版上市:47.80万起
第五章 --------------------加载和编译XAML
天天短讯!Netty中8大组件详解(EventLoop、Channel、ChannelFuture、Future、 Promise、Handler 、 Pipe
全球热点!贯穿汽车用户全生命周期,火山引擎数智平台能帮车企做这些事!
全球播报:当项目经理看世界杯决赛时…
在Windows中利用WSL2安装禅道17.7
观热点:纽约州进入紧急状态 美国暴风雪有多可怕?官方告诫市民别出门否则会冻死
快消息!稳住iPhone 14 Pro 富士康给员工发留任奖金:最高5000元
黑客携4亿推特用户数据勒索马斯克:想破财消灾还是被罚款?
世界看点:驾特斯拉Model X车祸 5个多月林志颖仍在康复:期待复工
一家三口发烧用洋葱退热成功 医生科普:低烧有用、高烧不建议
【全球新视野】工信部拟规定:APP应可便捷卸载 不得默认自动续订
当前关注:终于不用费劲算优惠了:天猫年货节取消跨店满减 直接降价
最新资讯:雷军刚投的激光雷达:120米以外就能探测到路面轮胎
环球讯息:李国庆称逃离北上广去二线商机无限 快反思降降价:看好杭州合肥长沙等
43mm大喇叭!荣耀亲选迪士尼便携蓝牙音箱上架 149元
天天讯息:从发现SQL注入到ssh连接
学习下Redis内存模型
环球观天下!更冷了!南方多地将有大到暴雪:湿冷“魔法攻击”来了
【世界独家】张艺谋新作 电影《满江红》官宣阵容:沈腾、易烊千玺双男主
每日热闻!专家:波司登万元羽绒服面料很低廉
焦点消息!文化输出网红要复出了?李子柒成子柒文化实控人:微念创始人退出公司
天天快讯:多语种录音转译!讯飞开放式办公耳机iFLYBUDS Air上市 899元
HTC G18上市价格是多少?HTC G18手机参数
小米3什么时候出的?小米3后盖怎么打开?
win7系统怎么设置防火墙?win7系统一键还原按哪个键?
显示器驱动程序停止响应的原因有哪些?电脑显示驱动程序出现问题怎么办?
洗衣机怎么消毒?洗衣机消毒方法有哪些?
科特迪瓦是哪个国家?科特迪瓦特产有哪些?
起初婚礼放鞭炮是为了什么?起初婚礼上放鞭炮是什么原因?
权力的游戏布兰为什么是夜王?权力的游戏布兰的结局是什么?
世界热门:Dubbo 可扩展性设计