最新要闻
- 十五五规划时期,未来十大新兴产业有哪些
- 世界视点!中兴Axon Pad来了:全球唯一5G双系统平板
- 医生误判将女孩恒牙当乳牙拔掉 科普:恒牙和乳牙区别
- 当前关注:日系车在中国真不香了!丰田、本田、日产、马自达全线暴跌
- 快资讯:iOS 16.4体验大翻车!苹果关闭降级通道:只许升新版
- 天天即时看!80/90后回忆杀!经典日漫《铁甲小宝》高清修复了:画质提升明显
- 世界观点:4月10日11时浙江嘉兴疫情最新消息 4月10日11时浙江嘉兴今日确诊人数
- 每日快播:米家空调巨省电首销:2匹大风量 2799元
- 环球热点!小米MIJIA智能音频眼镜发布!独特耳机眼镜二合一设计
- 世界热推荐:新手爸爸拿狗狗练拍嗝 网友:狗狗从来没享受过这么高的待遇
- 环球观察:周杰伦就不正当竞争起诉网易!4月17日开庭
- 日本非现金支付比例仅占36% 远落后于中国农村
- 重磅来了!
- 一季报预览:哪些公司业绩有望超预期
- 全球快看点丨迪拜拍出世界最贵车牌号:价值超1亿元!
- 各地开通旅游专列:去淄博吃烧烤都有专列了
广告
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
最新快讯!Go常用库之GoRequests
(相关资料图)
我们在使用Go做爬虫的时候,首先接触的肯定是 Golang 标准库 net/http
https://pkg.go.dev/net/http有兴趣的可以去看看文档。但是老实说 这个库个人感觉不是特别的好用
有可能是之前就是使用了Python 所以还是感觉如果有像Python库中的requests那样去实现请求就好了。所以GoRequests 就诞生了。
官方文档
DOC: https://pkg.go.dev/github.com/levigross/grequestsGithub: http://github.com/levigross/grequests
- 响应可以序列化为 JSON 和 XML
- 轻松上传文件
- 轻松下载文件
- 支持以下 HTTP 谓词GET, HEAD, POST, PUT, DELETE, PATCH, OPTIONS
安装
go get -u github.com/levigross/grequests
导入
import "github.com/levigross/grequests"
发送请求
Get请求
ro := &RequestOptions{Params: map[string]string{"name": "hybpjx"},}// url路径上的参数会被覆盖resp, err := grequests.Get("http://httpbin.org/get?h=1", ro)if err != nil {panic(err)}fmt.Println(resp.String())
Post请求
option := &grequests.RequestOptions{Data: map[string]string{"url": "https://www.cnblogs.com/zichliang/p/17302343.html"}}resp, err := grequests.Post("http://httpbin.org/post", option)if err != nil {panic(err)}if resp.Ok != true {fmt.Println(resp.Ok)}
Post上传文件
还可以支持上传文件
// 允许您通过指定磁盘上的位置来创建FileUpload结构片fd, err := grequests.FileUploadFromDisk("test/1")if err != nil {fmt.Printf("文件打开失败:%v\n", err)}// 这将以请求的形式上传文件resp, _ := grequests.Post("http://httpbin.org/post",&grequests.RequestOptions{Files: fd,Data: map[string]string{"One": "Two"},})fmt.Println(resp.Ok,resp.StatusCode)
Gorequests 使用session
session := grequests.Session{RequestOptions: &grequests.RequestOptions{Headers: map[string]string{"authority": "mp3.haoge500.com","referer": "https://www.zz123.com/","User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/107.0.0.0 Safari/537.36",},},}
GoRequests 使用代理
gorequest代理,非常简单 网上的Demo很多 也不只这一个我展示的是阿布云的代理需要注意的是 需要把 Proxies 中的url 添加为 *url.URL 代理
package testimport ("fmt""github.com/levigross/grequests""net/url""testing""time")// 代理服务器const proxyServer = "http-pro.xxx.com:9010"// 代理隧道验证信息const proxyUser = "xxxxxxxxx"const proxyPass = "xxxxxxxxx"type Proxy struct {AppID stringAppSecret string}func (p Proxy) ProxyURL() *url.URL {proxyUrl, _ := url.Parse("http://" + p.AppID + ":" + p.AppSecret + "@" + proxyServer)return proxyUrl}func TestCommon(t *testing.T) {// 初始化 proxy http clientproxyURL := Proxy{AppID: proxyUser, AppSecret: proxyPass}.ProxyURL()fmt.Println(proxyURL)trueUrl := "http://www.xiushui.gov.cn/xxgk/bmxxgk/sthjj/sthj/xmhp/index.html"ro := &grequests.RequestOptions{Headers: map[string]string{"user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/105.0.0.0 Safari/537.36",},Proxies: map[string]*url.URL{"http": proxyURL,},}resp, err := grequests.Get(trueUrl, ro)if err != nil {panic(err.Error())}fmt.Println("", resp.StatusCode)time.Sleep(time.Second * 10)}
关键词:
重点聚焦!SonarQube(CE)版集群环境下的高可用性实践
当前短讯!Java-泛型机制详解
最新快讯!Go常用库之GoRequests
十五五规划时期,未来十大新兴产业有哪些
世界视点!中兴Axon Pad来了:全球唯一5G双系统平板
医生误判将女孩恒牙当乳牙拔掉 科普:恒牙和乳牙区别
当前关注:日系车在中国真不香了!丰田、本田、日产、马自达全线暴跌
快资讯:iOS 16.4体验大翻车!苹果关闭降级通道:只许升新版
天天即时看!80/90后回忆杀!经典日漫《铁甲小宝》高清修复了:画质提升明显
【环球新要闻】全文索引:Apache Lucene(二)
Selenium做Web自动化踩过的坑
每日聚焦:通俗解释 JVM CAS 机制
世界观点:4月10日11时浙江嘉兴疫情最新消息 4月10日11时浙江嘉兴今日确诊人数
每日快播:米家空调巨省电首销:2匹大风量 2799元
环球热点!小米MIJIA智能音频眼镜发布!独特耳机眼镜二合一设计
世界热推荐:新手爸爸拿狗狗练拍嗝 网友:狗狗从来没享受过这么高的待遇
环球观察:周杰伦就不正当竞争起诉网易!4月17日开庭
日本非现金支付比例仅占36% 远落后于中国农村
重磅来了!
介绍一下sourcemap
今日关注:全网最详细中英文ChatGPT-GPT-4示例文档-文章大纲智能生成器从0到1快速入门——官网推荐的48种最佳应用场景(附python/node.js
一季报预览:哪些公司业绩有望超预期
全球快看点丨迪拜拍出世界最贵车牌号:价值超1亿元!
各地开通旅游专列:去淄博吃烧烤都有专列了
环球今亮点!米粉催卢伟冰发小米13 Ultra:我想冲顶配版
丰田在日召回超20万辆汽车:发动机有火灾隐患 已烧了两辆
世界观焦点:整合Microsoft 365服务:Win11文件管理器将迎来大更新
如何部署VSCODE SERVER
Silverlight教程_编程入门自学教程_菜鸟教程-免费教程分享
环球今日讯!围挡后面丨长沙河西首个三甲妇幼医院住院楼封顶!预计2025年建成投用
【天天新要闻】还去吗?泰国清迈发布“居家办公令” PM2.5超标准5倍:游客因空气污染锐减
“数学之王”丘成桐AI人工智能投入不能急功近利:中国很多技术卡脖子 基础科学没做好
元宇宙崩盘 林俊杰疑回应炒虚拟地产亏91%:听说很多人想帮我理财
北方大范围沙尘又来了 今年的沙尘天气为啥显得格外多?
天天观速讯丨通过 lua 进行 nginx redis 访问控制
焦点热议:多项数据向好 交通物流加速“跑起来”
环球要闻:背景太假哥疆域阿力木捡的狗“狼里狼气” 网友出谋划策辨认
【环球新视野】极氪X官宣4月12日上市:全能SUV 零百加速3秒级
焦点热文:我国构建世界首个番茄超泛基因组:能让番茄更好吃、产量多6成
全球播报:男女配合当街开井盖用勺挖地沟油被网友拍下引围观:行为太恶劣 应严惩
天天微资讯!林俊杰“炒房”浮亏91%?元宇宙泡沫的冰山一角
【时快讯】学系统集成项目管理工程师(中项)系列05_配置管理
天天动态:一不注意就被坑,家电“潜规则”早知道早好
今日热文:Spring5课堂笔记
Java8 Stream流式编程
【新要闻】128核心Arm处理器能跑Windows!还能配NVIDIA显卡
时讯:新疆和硕:田间地头 话两会
maptalks点线面图形样式设置经验总结
【天天速看料】马龙惊魂3-2拒绝一轮游,与小林再迎老少对决!国乒首日狂走钢丝
在米其林餐厅找罪受?人均8千元餐厅疑发生食物中毒
世界热点!张艺谋宣布将拍网剧《英雄联盟》!第一次 想拍个不一样的
环球新动态:Vulnhub Mercy靶场 Walkthrough
FSR、DLSS谁更好?26款游戏PK:AMD居然0胜!
环球速看:AI 史话
每日讯息!Weex原理及架构剖析
旅游专列来啦具体详细内容是什么
中国新能源汽车在欧洲火了:每10辆就有1辆来自中国
【时快讯】WebKit三件套(3):WebKit之Port篇
每日速看!HBase在进行模型设计时重点在什么地方?一张表中定义多少个Column Family最合适?为什么?
环球资讯:第136篇:Three.js基础入门动画API:setInterval 与 requestAnimationFrame的区别
程序员午休时健身猝死 被认定工伤 法院:属于在岗状态
比亚迪车主用木头手工还原汉EV:前后双电机 真能跑
每日速讯:WebKit三件套(1):WebKit之WebCore篇
焦点关注:C盘爆满的解决方法,不用删除文件,使用分区助手无损增加内存
简讯:招标活动法律保障工作实务指南 2016年版
锐龙7 7800X3D配A620主板 性能损失多少?实在没想到
天天微头条丨成都升温 千足虫满街爬:专家科普小心毒臭液
全球最大盗版电子书网站Z-Library被封后复活:路子更野了!要共享纸质书
速读:Steam排名第一!GTX 1650亮机卡火爆断货:RTX 2070紧急变身救场
【天天速看料】Vue——patch.ts【十四】
浏览器史话中chrome霸主地位的奠定与国产浏览器的割据混战
Vue开发规范
天天速递!只剩Windows版了!B站正式宣布UWP版停止维护
环球时讯:洛阳上演汉服秀 网友偶遇唐僧师徒四人坐地铁去“取经”
男子体内惊现小树苗!都长到5厘米高了
环球今亮点!或为AR眼镜新品!小米神秘“新礼物”明早10点正式亮相
今热点:解放军环台岛战备警巡和演习,专家:或成惩戒“台独”新模式
天天通讯!Linux常用操作命令总结
iOS Modern Collection View
线段树好题! P2824 [HEOI2016/TJOI2016]排序 题解
每日动态!小米寄修服务“史诗级”提升:新增进度可视化功能
天天资讯:第7章_InnoDB数据存储结构
天天快报!css过去及未来展望—分析css演进及排版布局的考量
每日关注!微信小程序 开发,uni-app 开发简介
今日报丨朗新科技:拟提前赎回“朗新转债”
今日观点!男子网购耐克鞋却挂着李宁的吊牌 网友:联名款?
数组的算法
超同年漫威大片近3倍!新海诚《铃芽之旅》国内票房达7亿
VUE-Antd开发,validate规则校验第一次为空,后面无论怎么输入都显示不可为空
环球新消息丨上海国创科技产业创新发展中心理事长黄岩:人工智能会像手机一样进入我们的日常生活
每日聚焦:青春回来了!电影《灌篮高手》流川枫角色预告出炉:4月20日国内上映
世界今亮点!暴雪战网遭遇DOSS攻击!多款游戏无法正常登录
世界聚焦:2023年3月随笔暨第1季度总结
世界热资讯!ASP.NET Core MVC 从入门到精通之接化发(一)
【全球聚看点】快速幂算法
私有化部署chatGPT,告别网络困扰
新车一超过60km/h就耳朵疼 车主:找了20多个人开都如此
Win11新版最快5月推送:微软确认Moment 3更新
【全球热闻】富二代开保时捷碰瓷:专挑开豪车酒驾的敲诈 “赚了”30多万
聚焦:五粮液董事长曾从钦:在“时与势”中勇担使命,在“稳与进”中拓展空间,在“个与众”中升级维度