最新要闻
- 为何近半数安卓用户想换苹果?背后原因揭开
- 天天快资讯:国人也买不动了!1月iPhone全球销量大跌11% 苹果会降价刺激销量吗?
- 当前速看:纯电飞行250公里 国产厂商创电动载人飞行器新纪录
- 【世界新要闻】公司招聘会计要求一定是A型血 网友:很奇葩
- 每日快讯!中国空间站成功首次“点火”!高速相机拍下神奇一幕
- 答菲洗脸巾80片到手6.9元:干湿两用 不掉毛絮
- 全球视点!男子犯困竟在高速行车道睡觉30分钟 科普:连续开车不应超4小时
- 甄子丹谈好莱坞对亚裔的刻板印象:怎么都这么老套?
- 特斯拉减少75%碳化硅用量 马斯克一句话干崩第三代半导体 上市公司回应
- 知名博主曝保时捷卡宴中控鼓包:我脚上皮鞋的皮都更好
- 法拉第未来恢复贾跃亭的公司执行官身份
- 酒店比价网站_酒店比价
- 【当前独家】“保时泰”破产重整后凄凉!股权六折甩卖仍无人接盘
- 每日速看!韩国拟取消校园暴力者读大学资格:转学脱罪也没用
- 环球精选!网友拍下真实版“乌鸦喝水” 原来是表演节目 两只乌鸦都会
- 今亮点!魅族20系列1元36月超长质保加码!电池最大容量低于80%免费换
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
python3和scrapy使用亿牛云隧道代理问题以及代码
import requests,random
#要访问的目标页面target_url = "https://www.nmpa.gov.cn/"
(资料图片仅供参考)
#代理信息proxy_host = "u6791.5.tn.16yun"proxy_port = "31111"proxy_user = "16EDRSSX"proxy_pass = "214575"proxy_meta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxy_host, "port" : proxy_port, "user" : proxy_user, "pass" : proxy_pass, }
#设置http和https访问都是用HTTP代理proxies = { "http": proxy_meta, "https": proxy_meta}
#设置IP切换头tunnel = random.randint(1, 10000)headers = {"Proxy-Tunnel": str(tunnel)}
try: #访问目标页面 resp = requests.get(target_url, proxies=proxies, headers=headers)
#获取状态码和网页内容 status_code = resp.status_code content = resp.text
#输出状态码和网页内容 print(f"status_code:{status_code}\ncontent:{content}") except requests.exceptions.RequestException as e: print(e)
import requests,random
#要访问的目标页面target_url = "https://www.nmpa.gov.cn/"
#代理信息proxy_host = "u6791.5.tn.16yun"proxy_port = "31111"proxy_user = "16EDRSSX"proxy_pass = "214575"proxy_meta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % { "host" : proxy_host, "port" : proxy_port, "user" : proxy_user, "pass" : proxy_pass, }
#设置http和https访问都是用HTTP代理proxies = { "http": proxy_meta, "https": proxy_meta}
#设置IP切换头tunnel = random.randint(1, 10000)headers = {"Proxy-Tunnel": str(tunnel)}
try: #访问目标页面 resp = requests.get(target_url, proxies=proxies, headers=headers)
#获取状态码和网页内容 status_code = resp.status_code content = resp.text
#输出状态码和网页内容 print(f"status_code:{status_code}\ncontent:{content}") except requests.exceptions.RequestException as e: print(e)
以上是python的原本使用方式,下面提供scrapy的中间件示例
在项目中新建middlewares.py文件(./项目名/middlewares.py)
import base64import sys
PY3 = sys.version_info[0] >= 3
def base64ify(bytes_or_str): input_bytes = bytes_or_str if PY3 else bytes_or_str.encode("utf8") output_bytes = base64.urlsafe_b64encode(input_bytes) return output_bytes.decode("ascii") if PY3 else output_bytes
class ProxyMiddleware2(object): def process_request(self, request, spider): # 选择一个代理服务器 proxyHost = "u6791.5.tn.16yun" proxyPort = "31111"
# 设置IP地址和端口号 request.meta["proxy"] = "http://{0}:{1}".format(proxyHost, proxyPort)
# 设置代理用户名和密码(根据需要开启/关闭) # proxyUser = "16EDRSSX" # proxyPass = "214587" # request.headers["Proxy-Authorization"] = "Basic " + base64ify(proxyUser + ":" + proxyPass) # 设置隧道(根据需要开启/关闭) # tunnel = random.randint(1,10000) # request.headers["Proxy-Tunnel"] = str(tunnel)
# 修改连接方式为Close,每次都切换到新的IP request.headers["Connection"] = "Close"
在实现IP自动切换的功能之前,我们需要优先考虑的是网站可能存在的安全协议,如验证码。这些协议旨在防止机器人的恶意行为,例如恶意爬取数据,从而保护用户的隐私。虽然这些协议可确保网站安全,但却增加了我们爬取数据的难度。
同时,针对药监局数据的质量问题也需要考虑,如缺失数据、错误数据、重复数据等,这就需要对数据进行清洗和处理,以确保最终的数据质量。在处理数据时,我们必须小心谨慎,以避免产生不准确或不全面的数据,从而带来不必要的麻烦。
面试官:从 MySQL 读取 100w 数据进行处理,应该怎么做?问倒一大遍!
天天快播:常用的Prestosql
python3和scrapy使用亿牛云隧道代理问题以及代码
为何近半数安卓用户想换苹果?背后原因揭开
天天快资讯:国人也买不动了!1月iPhone全球销量大跌11% 苹果会降价刺激销量吗?
当前速看:纯电飞行250公里 国产厂商创电动载人飞行器新纪录
【世界新要闻】公司招聘会计要求一定是A型血 网友:很奇葩
每日快讯!中国空间站成功首次“点火”!高速相机拍下神奇一幕
今日观点!Pod控制器
创建型:构造器模式
天天最新:Python类和对象的绑定方法及非绑定方法
答菲洗脸巾80片到手6.9元:干湿两用 不掉毛絮
全球视点!男子犯困竟在高速行车道睡觉30分钟 科普:连续开车不应超4小时
甄子丹谈好莱坞对亚裔的刻板印象:怎么都这么老套?
特斯拉减少75%碳化硅用量 马斯克一句话干崩第三代半导体 上市公司回应
知名博主曝保时捷卡宴中控鼓包:我脚上皮鞋的皮都更好
法拉第未来恢复贾跃亭的公司执行官身份
全球微资讯!Adobe Photoshop 键盘快捷键 备忘清单_开发速查表分享
环球简讯:mperf:移动/嵌入式平台算子性能调优利器
天天动态:玩转Angular系列:组件间各种通信方式详解
焦点要闻:DL 基础:PyTorch 常用代码存档
世界热推荐:MySQL学习笔记-多表查询(下)
酒店比价网站_酒店比价
【当前独家】“保时泰”破产重整后凄凉!股权六折甩卖仍无人接盘
每日速看!韩国拟取消校园暴力者读大学资格:转学脱罪也没用
环球精选!网友拍下真实版“乌鸦喝水” 原来是表演节目 两只乌鸦都会
今亮点!魅族20系列1元36月超长质保加码!电池最大容量低于80%免费换
全球新资讯:神舟十五号乘组太空出差过半:完成多项首次实验测试
美团2面:如何保障 MySQL 和 Redis 数据一致性?这样答,让面试官爱到 死去活来
宕机了,Redis 如何避免数据丢失?
世界简讯:风控系统就该这么设计,万能通用,稳的一批!(建议收藏)
焦点要闻:权限提升(1)
全球新消息丨《最终幻想16》仍然只有白人:没有对人种多样性妥协
每日报道:sonar代码扫描bug:Use try-with-resources or close this "FileInputStream" in a "f
世界时讯:通过手动创建hibernate工厂,自动生成表,完成数据库备份还原功能
每日简讯:【36oj】 画圣诞树
全球聚焦:AMD Zen4正式登顶!16核7954HX性能战平24核13980HX、功耗低得多
老司机全程不踩刹车?特斯拉潮州事故车主不服鉴定:官方尚未出责任认定书
【播资讯】不为人知的网络编程(十五):深入操作系统,一文搞懂Socket到底是什么
轻松玩转makefile | 变量与模式
天天百事通!3888元 + 可叠加百亿补贴:天猫无门槛红包12点正式开抢
4条狼青犬咬死几十只羊!警惕:性情凶狠、攻击性非常强
全球微头条丨211文科硕士吐槽均薪5500引争议:文科生转码或成趋势 还是理科香?
报道:“RNG老板道歉”登热搜 CEO:轮换中单是我的决定
【世界播资讯】李想:理想汽车要占20万元以上市场35% 将对标苹果特斯拉
垂头丧气的丧是什么意思?关于垂头丧气的反义词有哪些?
头条焦点:百分比堆叠柱状图适用情形有哪些?速戳!
父亲的兄弟如何称呼?写给父亲的一封信作文模板
张靓颖的海豚音是哪首歌?张靓颖终于等到你的歌词是什么?
李想:如果不卖电池 电动车成本可以比燃油车低
热议:马斯克最疯计划曝光!给我10万亿美元:可拯救地球
梅西花百万买苹果手机送给阿根廷队友:定制了35部24K金的iPhone 14 Pro
天天微头条丨河南小伙1:1打造歼10战斗机模型!司机:这辈子拉过最硬的货
每日简讯:奇瑞背刺长城 捷途旅行者实车亮相:10多万的“硬汉”登场
早晨问候客户的正能量句子有哪些?早晨问候语有哪些?
仓央嘉措是哪个朝代的?仓央嘉措经典诗句有哪些?
蓝码健康码是什么意思?蓝码健康码是正常的吗?
32开纸是多大?32开纸有多大是几个A4?
ps字体怎么加描边?ps字体太小怎么调大?
移动硬盘参数怎么看?移动硬盘参数错误怎么解决?
usd是什么意思?usdt属于什么币种?
全球快讯:带有雨的诗句有哪些_带有雨的诗句具体有哪些
环球观焦点:WebLogic JNDI注入(CVE-2021-2109)
天天通讯!Java 根据模板导出PDF
从菜鸟程序员到高级架构师,竟然是因为这个字final
剑指 Offer 64. 求 1 + 2 + … + n(java解题)
当前简讯:浙江女子1600公里追到广州找到被偷的爱猫:苹果AirTag定位器立了大功
比亚迪豪华MPV成了!腾势D9上月热销7325台:均价41.5万
简讯:俞敏洪最新演讲:不喜欢《狂飙》 企业家只想赚钱就会像高启强后患无穷
复旦MOSS团队:取名是致敬《流浪地球2》 参数规模约ChatGPT的1/10
世界热推荐:跑着跑着会熄火 日产北美召回超80万辆奇骏:车钥匙背锅
环球头条:Git介绍下载安装以及基本使用
全球新消息丨解释器模式
每日时讯!promethues【centos7】时间同步
What is Point ?
【全球新要闻】那舅特大桥建成 又一时速350高铁开铺 南宁至玉林仅50分钟
3899元起 惠普战66六代锐龙版上架:锐龙7000系列加持
世界热议:3月17日开启Beta测试!《暗黑破坏神4》新预告片透露更多游戏内容
焦点短讯!拳头《无畏契约》3月14日起不再支持Win7/8/8.1系统:为了打击外挂!
论文阅读笔记(四):AS-MLP AN AXIAL SHIFTED MLP ARCHITECTUREFOR VISION
(数据库系统概论|王珊)第七章数据库设计-第五、六节:物理结构设计和数据库的实施和维护
全球消息!苹果何时大降价?iPhone 14 Plus成系列销量最差:用户宁愿买安卓
焦点信息:寓言诚不欺我!网友拍下现实版“乌鸦喝水”
焦点报道:儿子篮球班倒闭家长花1000万买下 网友:这就是钞能力
全球热议:999元卷王小金刚!优派推出VX2758显示器:27英寸2K/170Hz
15万就能买特斯拉?特斯拉宣布重大目标:成本降低50%
哪吒汽车2月份交付10073台 同比大涨41.5%
未成年人沉迷短视频得治 TikTok默认限制每天可刷一小时
“自己造自己” 特斯拉人形机器人亮相!马斯克承认罕见事实
【世界速看料】腾讯新游《黎明觉醒:生机》开放60帧:骁龙888、iPhone 13以上都能开
每日视点!印度男子展示绝技“乌鸦召唤术” 网友:在古代至少巫师级别
读Java性能权威指南(第2版)笔记06_数据库性能JPA&SpringData
全省严查!正在进行!
每日看点!马斯克大力推荐!特斯拉Cybertruck实车亮相:超级未来感
天天消息!马斯克宏图计划公布:储能240TWh 制造投资10万亿美元
日本死亡人数是新生儿数量两倍有多可怕:850万“幽灵屋”遍布全国
信息:特斯拉下一代电机将不需要任何稀土成分!马斯克挑战全球车企
环球新动态:Spark系列 - (5) Spark Shuffle
热消息:Fireasy3 揭秘 -- 万物伊始(依赖注入与服务发现)
全球信息:英语四级阅读技巧