最新要闻
- 每日热门:河洛肉鸽卡牌《天外武林》上架Steam 明年1月发售
- 别急换机!本月还有6场发布会:劝你先等等再买
- 世界微动态丨《阿凡达:水之道》预测票房仅25.11亿!远不到《长津湖》一半
- 【环球新要闻】Epic大促开启 连续15天免费送游戏!75折套娃优惠券来了
- 【天天播资讯】RTX 4070 Ti跑分首曝:猛升46%、超越RX 7900 XTX
- 速度飞起!全球首款232层闪存SSD细节公布:TLC颗粒、拒绝PCIe 5.0
- 快资讯:一图看懂moto新机:二代骁龙8 3699元!价格屠夫简直了
- 天天热议:微软2025年目标:确保非洲再增加1亿人访问互联网
- 焦点信息:火球坠入浙江 警方带走疑似陨石碎片:现场砸出六七厘米深坑
- 环球观热点:不调好不上市 moto X40驯服二代骁龙8:1小时王者温度仅42度
- Nature年度十大人物出炉:猪心移植手术团队负责人等入选
- 饱满如水滴!联想moto X40开箱图赏
- 5000mAh大电池+120Hz屏 899元联想moto G53图赏
- 109度大电池能跑730KM!岚图追光预售:32.29万元起
- 视焦点讯!努比亚Z50散热堆料离谱:散热总面积达到36462m㎡
- 中国光纤之父赵梓森逝世 享年91岁:拉出了我国第一根光纤
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
观点:【从零开始学爬虫】采集收视率排行数据
l 采集网站
【场景描述】采集收视率排行数据。
【源网站介绍】收视率排行网提供收视率排行,收视率查询,电视剧收视率,综艺节目收视率和电视台收视率信息。
(资料图)
【使用工具】前嗅ForeSpider数据采集系统
【入口网址】http://www.tvtv.hk/archives/category/tv
【采集内容】
采集收视率排行网上省级卫视收视率数据,采集字段:标题、发布时间、排行内容。
【采集效果】
如下图所示:
l 思路分析
配置思路概览:
l 配置步骤
一.新建采集任务
选择【采集配置】,点击任务列表右上方【+】号可新建采集任务,将采集入口地址填写在【采集地址】框中,【任务名称】自定义即可,点击下一步。
二. 模板配置
1. 翻页链接采集配置
①查找翻页链接及其规律
在入口地址页内打开“F12”,按如下步骤找到翻页地址,并复制刷新后的翻页链接地址
对比观察翻页链接的规律观察:随着翻页变化,页码数与请求网址(Requestrian URL)中“page/”后的数字相关。所以,其规律为:http://www.tvtv.hk/archives/category/tv/page/+翻页页码
找到翻页链接位置及其规律就可以对应去编写脚本。
②脚本的创建与编写
【脚本的创建与编写】脚本文本:
url u;
for ( var i=1;i<=165;i++){
u.title ="第"+i+"页";//页码
u.urlname = "http://www.tvtv.hk/archives/category/tv/page/"+i;
u.tmplid = 1; //模板关联
u.entryid = CHANN.id;
RESULT.AddLink(u,"","");
}
③查看采集预览
查看采集预览,并将链接粘贴到浏览器验证一下是否采集正确。
【采集预览】2.列表链接抽取配置
①添加链接抽取,更名为列表链接
②点击脚本窗口
③新建脚本
④编写列表链接抽取脚本
脚本文本:
var sta=DOM.FindClass("page-header","header",0);//定位到header标签
var list=sta.next;//定位下一子标签
while(list) {
var link=DOM.FindClass("entry-header","header",list);//定位到header标签
var linkin=link.child.child.child.child.next.child.child.child;//定位到列表链接所在标签
url u;//定义一个url
u.title = DOM.GetTextAll(link);//取标题
u.urlname =linkin.href;//取列表链接
u.entryid = this.id;
u.tmplid =2;//关联数据抽取模板
link=link.next;
list=list.next;
RESULT.AddLink(u,"","");//传递链接
}
⑤据观察发现,列表链接规律为:http://www.tvtv.hk/archives/而翻页链接规律为:http://www.tvtv.hk/archives/category/tv/page/此处则可以用地址过滤排除翻页链接,如图;然后复制任意一个列表链接到浏览器打开验证
3. 数据抽取
①新建模板、添加数据抽取
如下新建模板并添加数据抽取,在示例地址框内输入上一步复制的列表链接
【新建模板、添加数据抽取】②数据表结构创建
如下在表结构内创建出所需采集的字段
【创建表结构】③关联表单
数据抽取关联数据结构表单
【关联表单】④创建并编写数据抽取脚本
如下创建脚本,并根据网页结构编写数据抽取脚本
【脚本的创建与编写】脚本文本:
record re;//定义一个record记录集
var name=DOM.FindClass("entry-header","header",0);//定位到header标签
var cont=DOM.FindClass("entry-content","div",0);//定位到div标签
re.title=DOC.GetDom().GetTextAll(name.child);//取标题文本
re.time_sub=DOC.GetDom().GetTextAll(name.child.next.child);//取时间文本
re.content=DOC.GetDom().GetTextAll(cont).Right("排名");//取排名文本
re.id=MD5(URL.urlname) ;//id
RESULT.AddRec(re,this.schemaid);//输出结果
⑤查看采集预览
查看采集预览,并核对一下内容是否采集正确。
【采集预览】l 采集步骤
三、数据采集
1.建立数据表单:
选择【数据建表】,点击【表单列表】中该模板的表单,在【关联数据表】中选择【创建】,表名称自定义,这里命名为【shoushilv】(注意命名不能用数字、文字和特殊符号),点击【确定】。创建完成,勾选数据表,并点击右上角保存按钮。
【建立关联数据表】2.开始采集
选择【数据采集】,勾选任务名称,点击【开始采集】,则正式开始采集。
【开始采集】3.导出数据
采集结束后,可以在【数据浏览】中,选择数据表查看采集数据,并可以导出数据。
【数据浏览】【数据导出】4.导出的文件打开如下图所示:
【查看导出数据】本教程仅供教学使用,严禁用于商业用途!
-
mvn 打包报错:no compiler is provided in this environment
最近公司换了电脑,系统也从win7升级到win11,开发环境都重新安装了一遍,然后在idea用mvn执行打包命令mv...
来源: 观点:【从零开始学爬虫】采集收视率排行数据
mvn 打包报错:no compiler is provided in this environment
天天微动态丨JavaScript DOM的性能优化详解
每日资讯:VUE的实例的生命周期
每日热门:河洛肉鸽卡牌《天外武林》上架Steam 明年1月发售
别急换机!本月还有6场发布会:劝你先等等再买
世界微动态丨《阿凡达:水之道》预测票房仅25.11亿!远不到《长津湖》一半
【环球新要闻】Epic大促开启 连续15天免费送游戏!75折套娃优惠券来了
【天天播资讯】RTX 4070 Ti跑分首曝:猛升46%、超越RX 7900 XTX
焦点热讯:替代if esle 的高级方法
make学习
天天热门:高手必备10大难题:Mysql如何实现RR级隔离时,不会幻读?
FreeSWITCH学习笔记:应用程序(APP)
速度飞起!全球首款232层闪存SSD细节公布:TLC颗粒、拒绝PCIe 5.0
快资讯:一图看懂moto新机:二代骁龙8 3699元!价格屠夫简直了
全球观察:7-2 案例 字符串关键字的散列映射
天天热议:微软2025年目标:确保非洲再增加1亿人访问互联网
焦点信息:火球坠入浙江 警方带走疑似陨石碎片:现场砸出六七厘米深坑
环球微头条丨初始Docker
热点评!分智慧果 - 2021算法与数据结构实验题
环球观热点:不调好不上市 moto X40驯服二代骁龙8:1小时王者温度仅42度
Nature年度十大人物出炉:猪心移植手术团队负责人等入选
饱满如水滴!联想moto X40开箱图赏
5000mAh大电池+120Hz屏 899元联想moto G53图赏
109度大电池能跑730KM!岚图追光预售:32.29万元起
天天微动态丨自研分布式高性能RPC框架及服务注册中心ApiRegistry实践笔记【原创】【开源】
【独家】图形用户界面(GUI)编程可以学习C++ Builder,多图、实例、书籍
17 Java内存模型与线程_Java与线程
视焦点讯!努比亚Z50散热堆料离谱:散热总面积达到36462m㎡
中国光纤之父赵梓森逝世 享年91岁:拉出了我国第一根光纤
世界观热点:苹果妥协了!将开门迎接第三方应用商店 用户褒贬不一
杭州疑似有陨石掉落:一团火球 照亮夜空
环球要闻:AIRIOT答疑第2期|如何使用物联网平台的数据采集与控制引擎?
《隐秘的角落》游戏来了:Steam版定档明年1月18日
【时快讯】可以薅羊毛了!网易云音乐TV版正式上线:免费送3个月会员
天天快报!男子花12万买世界杯彩票没中要求退款 理由气煞店老板
天天热头条丨微信全新朋友圈点赞互动广告上线:点下就能放烟花秀
天天热资讯!下单15分钟送到:上海开通首条美团无人机常态化航线
世界速读:BaseDet: 走过开发的弯路
今日热门!引迈信息荣登「2022低代码企业50强」:JNPF,你的不二选择!
环球关注:IMDb 8.2分!《阿凡达2》口碑爆棚 影院回应票价高:消费者不缺钱缺服务
OPPO Find N2 Flip外屏惊艳:支持快捷回复、锁屏小游戏
第二家通吃NVIDIA、AMD、Intel的显卡品牌诞生!这也太贵了
天天实时:公牛发布航天级品质超薄插座:可承受2万次拔插
环球微头条丨跌破零下40度!内蒙古出现极寒冰雾天气:冷到“冒白烟”
环球微速讯:SQL的使用总结
天天快资讯:WPF深入简出(一)入门必看
观热点:【机器学习】李宏毅——浅谈机器学习原理+鱼与熊掌兼得的深度学习简述
当前动态:前后端AES加密解密,CryptoJS和Java实现
热讯:记录--手把手带你开发一个uni-app日历插件(并发布)
OPPO Find N成为全国销量第二折叠屏!一经发布就大获成功
微速讯:首次使用钛合金螺丝!OPPO Find N2仅233g:折叠屏比iPhone还轻
OPPO Find N2内外一致好屏:双120Hz+双E6 可自由悬停
让玩家心动的定制 ROG 6游戏手机《暗黑破坏神:不朽》典藏限量版图赏
OPPO Find N2 233g比直板机还轻!央视点赞:刷新折叠屏手机新纪录
【世界速看料】LeetCode HOT 100:旋转图像
环球头条:特斯拉中国上线490元酒杯 限量卖 网友吐槽智商税
世界今日讯!女子连吃5天感冒药 多脏器功能衰竭:专家提醒小心这些症状
IT工程师哪里工资最高?美国仅排第二 第一收入超过70万
天天看热讯:帧数暴涨40%!《巫师3》次时代版画质优化指南
20万级大杀器 长安深蓝首款SUV曝光:增程、纯电全都有
【天天速看料】Shell 标准输入和输出
信息:公司新来一个同事,把网关系统设计的炉火纯青!(万能通用,稳的一批。。)
当前视讯!易基因|NSUN2介导RNA m5C修饰促进食管鳞状细胞癌进展的表观调控机制 | 肿瘤研究
ThingsBoard前端项目的安装与启动
【时快讯】RELIC库学习
全球看热讯:喜讯+1!袋鼠云数栈技术团队获“2022年度优秀开源技术团队”
投影仪的工作原理是什么?投影仪排名前十的品牌
Centos安装Nginx
针孔无线摄像机怎么连接?针孔无线摄像机怎么用?
本地连接受限制或无连接是怎么回事?本地连接受限制或无连接怎么解决?
svchost.exe占用cpu过是什么原因?svchost.exe占用cpu过高解决方法
pdf文件打开是乱码怎么回事?pdf文件打开是乱码时该怎么办?
男主角是明星的小说有哪些?男主角是明星的小说推荐
科比最后一场比赛是什么时候?科比最后一场比赛是多少分?
鞋子防臭的小妙招有哪些?鞋子防臭喷雾哪个牌子好?
沙棘如何鉴别好坏?沙棘的功效作用与主治是什么?
玉碎了代表什么征兆?玉碎了有什么办法修复吗?
英雄联盟更新慢是什么原因?英雄联盟更新慢怎么办?
怎么才能加快迅雷的下载速度?加快迅雷下载速度的方法有哪些?
全球讯息:阻止Windows未知应用弹窗的一种思路方法
Zabbix6.0使用教程 (四)—zabbix6.0从源代码安装
Tomcat工作原理
小键盘指法是什么意思?小键盘指法包括什么键?
iphone13如何添加公交卡?iphone13添加公交卡的方法有哪些?
安卓系统的手机有哪些?安卓系统的手机有哪些牌子好?
天天快讯:针对某钓鱼网站的渗透测试
【脚本项目源码】Python制作桌面宠物,这么可爱的萌宠你不想拥有吗?
今日热议:4999元 小米13限量定制色明天首销:只有5万台
环球焦点!中国民营火箭朱雀二号发射失利 全球首型轨道飞行的甲烷火箭
当前播报:QQ邮箱推实用新功能:英文文档一键即可翻译
【报资讯】丰田凯美瑞看呆!新一代本田雅阁实车曝光:比思域还运动
撞到快报废!特斯拉高速追尾大货车 司机身亡:现场视频速度快到可怕
单手就能用的折叠屏旗舰!OPPO Find N2今天发布:比直板机还轻
环球视讯!反对无效!日本投放广告宣传福岛核污水安全性:必须排海
【环球播资讯】我国成功发射遥感三十六号卫星!长征火箭年发射数首次迈上50大关
【环球速看料】适合男女双打 这三款游戏拉近你和她的距离
焦点滚动:腾讯互动阅读App《一零零一》宣布将停运:补偿方案出炉
环球新动态:显卡不会便宜了?NV要发新RTX 4080、4090:移动版也万元节奏
世界新消息丨法国2-0摩洛哥 决赛战阿根廷!网友发现规律:姆巴佩进球就不会输