最新要闻
- 今日热闻!光速破发?iPhone 14黄色版还未开售便降价600元
- 华硕发布ROG Strix Impact III鼠标:双手通用、可更换微动插槽
- 真香!重庆购买HUAWEI问界M7直补3万:起售仅25.98万
- 当前简讯:滴滴快车预付车费什么时候退款_滴滴快车预付车费什么意思
- 今日播报!客服回应疯狂小杨哥带货翻车:有巡查、违规会处罚
- 怕了吗?长城公布“1000万悬赏计划”:严厉打击网络水军
- 天天通讯!伊朗外长:伊沙恢复外交关系将为两国和地区发展注入巨大动能
- 世界快讯:日系车掀起买一送一热潮:买皓影插混送飞度、买日产楼兰送轩逸
- 天天热资讯!50万以内最舒适二排 理想L7正式交付:31.98万起售
- 环球新资讯:10年分红1000多亿!董明珠鼓励员工“砸锅卖铁”买格力股票
- 资讯推荐:全球最强!传音发布260W有线、110无线快充:8分钟充满
- 世界观热点:美国科学家改变人类科技、终极能源即将实现?真相来了!
- 世界快讯:《原子之心》更新:添加FOV设置、删除种族主义动画
- 今亮点!霸道女总裁加盟《碟中谍8》
- 天天播报:00后男生每天下班后卖烤肠解压 50元投资日赚200元:厌恶刷视频、打游戏
- 环球微速讯:比进口价格便宜!海南三亚榴莲今年6月将大规模上市
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
有监督学习——梯度下降
1. 梯度下降
梯度下降(Gradient Descent)是计算机计算能力有限的条件下启用的逐步逼近、迭代求解方法,在理论上不保证下降求得最优解。e.g. 假设有三维曲面表达函数空间,长(x)、宽(y)轴为子变量,高(z)是因变量,若使用梯度下降法求解因变量最低点的步骤如下:
- 任取一点作为起始点。
- 查看当前点向哪个方向移动得到最小的z值,并向该方向移动。
- 重复上述步骤,直到无法找到更小的z值,此时认为达到最低点。
受起始点和目标函数的约束,有时该法无法找到全局最优点,但有着比OLS
更快的求解速度,因此被广泛应用。
(资料图)
根据原理介绍几个梯度下降求解算法概念:
- 步长(learning rate):每一步梯度下降时向目标方向前行的长度。
- 假设函数(hypothesis function):由特征产生目标变量的函数,常用\(h()\)表示。
- 损失函数(loss function):评估任意参数组合的函数,常用\(J()\)表示。
损失函数判断向周围哪个方向移动的原理是计算损失函数的偏导数向量,该向量就是损失函数增长最快的方向,而其反方向则是以最小化损失函数为目标时需要前进的方向。
2. 随机梯度下降
随机梯度下降(Stochastic Gradient Descent, SGD),在损失函数计算时不便利所有样本,只采用单一或小批量样本的方差和作为损失值。因此,每次迭代计算速度非常快,通过每次随机选用不同的样本进行迭代达到对整体数据的拟合。
对比普通梯度下降,随机梯度下降的主要区别在于:
- 迭代次数明显增加,但由于每次计算样本少,总体时间缩短。
- 由于样本数据存在噪声,每次迭代方向不一定是“正确的”,但由于迭代次数的增加,总体的移动期望任朝着正确方向前进。
- 能过“不一定正确”的方向越过高点,从而找到最优解。
3. Python中的SGDRegression和SGDClassifier
scikit-learn
中提供了随机梯度下降的线性回归器SGDRegressor
和线性分类器SGDClassifier
,使用它们可学习超大规模样本(样本数>\(10^5\)且特征维度>\(10^5\))。Python中使用两者
from sklearn.linear_model import SGDRegressor, SGDClassifierX = [[0, 0], [2, 1], [5, 4]] # 样本特征y = [0, 2, 2] # 样本目标分类reg = SGDRegressor(penalty="l2", max_iter=10000)reg.fit(X, y)reg.predict([[4,3]])# array([1.85046249])reg.coef_ # 查看回归参数# array([0.30716325, 0.16212611])reg.intercept_ # 查看截距# array([0.13543114])clf = SGDClassifier(penalty="l2", max_iter=100) # 初始化分类器clf.fit(X, y)clf.predict([[4, 3]]) # 预测# array([2])
两者最大的不同在于predict()
函数的预测结果,SGDClassifier
预测的结果一定是训练数据的目标值之一,SGDRegressor
预测值是假设函数直接的计算结果。而两者的对象初始化参数类似:
Attribute | Introduce |
---|---|
penalty | 损失函数惩罚项,取值none l1 l2 或elasticnet ,"elasticnet"是"l1"和"l2"的综合 |
loss | 损失函数类型,影响训练速度,取值squared_loss huber epsilon_insensitive 或squared_epsilon_insensitive |
tol | 损失函数变化小于tol时认为获得最优解 |
max_iter | 最大迭代次数,当迭代陷入抖动,无法满足tol时只能利用max_iter作为停止迭代条件 |
shuffle | 完成一轮所有样本迭代后是否洗牌 |
n_jobs | 训练中可利用的CPU数量 |
learning_rate | 步长类型,取值constant optimal 或invscaling ,前者为固定步长。后两者为动态步长有利于在训练初期跳出局部解,同时后期避免抖动。 |
eta0 | learning_rate 为 constant 或 invscaling 时的初始步长 |
fit_intercept | 是否有截距,取值True 或False |
3. 增量学习
增量学习(Incremental Learning)是指一种可以边读数据边训练的拟合方法。在scikit-Learn中提供了partial_fit()函数接口,所有支持增量学习的模型都实现了该函数。SGD的增量学习调用方法举例:
from random import randintimport numpy as npreg2 = SGDRegressor(loss="squared_error", penalty="l1", tol=1e-15)X = np.linspace(0, 1, 50) # 50个x值Y = X/2 + 0.3 + np.random.normal(0, 0.15, len(X)) # 用y=x/2+0.3加随机数生成样本X = X.reshape(-1, 1)for i in range(10000): idx = randint(0, len(Y)-1) # 随机选择一个样本索引 reg2.partial_fit(X[idx: idx+10], Y[idx: idx+10]) # 用partial_fit()训练print(reg2.coef_) # 查看回归参数# [0.56874507]print(reg2.intercept_) # 查看截距# [0.2769033]
查看模型参数,当前模型应为:
\[y=0.56874507x+0.2769033\]与生成样本时的公式相近。
参考文献
[1]刘长龙. 从机器学习到深度学习[M]. 1. 电子工业出版社, 2019.3.
关键词:
有监督学习——梯度下降
全球百事通!聪明的燕姿
当前视点!Oracle数据库中没有scott账户的方法
今日热闻!光速破发?iPhone 14黄色版还未开售便降价600元
华硕发布ROG Strix Impact III鼠标:双手通用、可更换微动插槽
真香!重庆购买HUAWEI问界M7直补3万:起售仅25.98万
当前简讯:滴滴快车预付车费什么时候退款_滴滴快车预付车费什么意思
世界通讯!网络安全(中职组)-B模块:Web安全应用-2
今日播报!客服回应疯狂小杨哥带货翻车:有巡查、违规会处罚
怕了吗?长城公布“1000万悬赏计划”:严厉打击网络水军
【世界新要闻】四位计数器testbench的设计
世界滚动:chatgpt 集成飞书实践指南
自以为是 与 思考
天天通讯!伊朗外长:伊沙恢复外交关系将为两国和地区发展注入巨大动能
世界快讯:日系车掀起买一送一热潮:买皓影插混送飞度、买日产楼兰送轩逸
天天热资讯!50万以内最舒适二排 理想L7正式交付:31.98万起售
环球新资讯:10年分红1000多亿!董明珠鼓励员工“砸锅卖铁”买格力股票
剪刀石头布的算法
资讯推荐:全球最强!传音发布260W有线、110无线快充:8分钟充满
世界观热点:美国科学家改变人类科技、终极能源即将实现?真相来了!
世界快讯:《原子之心》更新:添加FOV设置、删除种族主义动画
Shell命令-常用操作2
【质因数分解算法详解】C/Java/Go/Python/JS/Dart/Swift/Rust等不同语言实现
今亮点!霸道女总裁加盟《碟中谍8》
天天播报:00后男生每天下班后卖烤肠解压 50元投资日赚200元:厌恶刷视频、打游戏
【时快讯】网络安全(中职组)-B模块:Web安全渗透测试
环球新消息丨K8S 性能优化-K8S Node 参数调优
环球微速讯:比进口价格便宜!海南三亚榴莲今年6月将大规模上市
当废物挺好?委员称年轻人想躺平更多是调侃 奋斗的是大多数
天天亮点!中国足彩网竞彩11日推荐:曼城取胜无悬念
焦点短讯!使用SSM+Shiro+Layui框架,基于RBAC3模型开发的权限管理系统
snort入侵检测基础概述
当前播报:amusements
环球热议:6月上映!《变形金刚7》角色海报发布:擎天柱、猩猩队长亮相
【速看料】降价潮席卷全国 车企尽数参战是为何?乘联会解答:国六B要来了
观热点:01-C语言概述
环球今热点:真正油电同价!比亚迪投放“深水炸弹”:13.4万买宋Pro DM-i超级混动
环球通讯!立春来首场寒潮横扫我国大部:多地将遭遇滑梯式降温 最高降20℃
【新要闻】活久见!女生家中发现神奇圆柱形手机:登QQ、手电筒、拍照 功能多到炸
读Java性能权威指南(第2版)笔记13_堆内存下
最便宜竖折叠继任者!摩托罗拉Razr 2023真机图出炉:首次拼色后壳
当前快报:汽车价格战新进展:南北大众同日入局 丰田买一辆送一辆
世界速递!day05-功能实现04
Vue————Vue v2.7.14 入口文件【二】
【时快讯】《满江红》中国影史票房榜第6:力压《唐人街探案3》 票房突破45.23亿
环球即时:2023开门红!长四丙成功发射“一箭双星”
环球消息!第一批PCIe 5.0 SSD都是残血!14GB/s满血版还早呢
世界快资讯丨有了ChatGPT 动动嘴就能使唤Excel:我的童年梦想实现了
每日热门:8岁男孩单手打破汉诺塔世界纪录:4.305秒搞定4层
当前头条:海绵宝宝卡通图片线条图_海绵宝宝卡通图片
天生要完美电视剧28集完整版_天生要完美电视剧
对C++做爬虫的代码进行简单分析
世界热推荐:2.HelloSpring
孙海洋夫妇餐饮公司被列经营异常:本人回应
今日报丨香港男子深圳上班每天通勤4小时:月薪3万 每天通勤费用80元
【全球独家】63.C++类型转换
世界今亮点!python可变长参数
当前观察:大获成功!《最后生还者》成史上收视率最高的游戏改编剧
爆款椰子鞋停售后:阿迪在中国凉凉了
1.3kg下颜值、性能、屏幕全给你!华硕灵耀14 2023评测:续航惊人
观热点:长城汽车发布Hi4全新新能源技术:4驱享受 2驱能耗
全球关注:杠上比亚迪秦PLUS DM-i 新款日产轩逸上市:9.98万起
8GB、16GB显存的性能差多少?实测多达172%!
明解数据库------数据库存储演变史
AMD最强核显跑分上来了!但是还打不过GTX 1650 Ti
全球最新:买丰田bZ4X电动车 送一辆威驰轿车?4S店回应:活动属实
RTX 30公版显卡突然集体消失!刚刚降价40%
微头条丨公司规定不接董事长电话1次罚10000元 员工:试岗1天就走了
【全球快播报】校友承诺捐赠1100万元却不兑现被告 学校:他具备履约能力
紧跟微信步伐:支付宝掌纹支付设备外观专利获授权
【天天快播报】搅局中端市场!一加Ace2V评测:将16G满血内存进行到底
通讯!破壁机虚标功率后 疯狂小杨哥带货又翻车:面霜因虚假宣传被罚
《王者荣耀》出海“首战告捷”:登顶巴西免费游戏榜
环球报道:记录--vue3+setup+ts 知识总结
【世界速看料】程序员养发神器:拒绝加班熬夜,告别秃头!
【世界聚看点】【希尔排序ShellSort算法详解】Java/Go/Python/JS/C不同语言实现
环球微头条丨【分享贴】项目中为啥总是项目经理一人干着急?
使用PostgreSQL而不是MySQL存储中型数据有什么好处?
3000块多品牌SSD质量大PK:整体比机械硬盘可靠
玩家购入二手Switch主机:可是被卖家坑惨了
航班晚点1小时 机长提速提前20分钟到达帮助乘客换机?山航回应
每人1600元!北京发放首批“京彩·绿色”消费券:买手机PC都能用
当前热文:涉及121万辆!我国2022年新能源汽车召回量创历史新高:电池、电机缺陷多
环球最资讯丨暴风的恋人百度云_暴风的恋人
有监督学习——线性回归
禁用XXE处理漫谈
腾讯-广点通转化归因
来真的!贾跃亭:3月30日生产FF91 百万豪车来了
【天天新视野】30个汽车品牌降价 成都发放消费券:满40万可减8000元
【世界独家】华硕发布TUF Gaming M3 Gen II鼠标:仅重59g、IP56防尘防水
全球今亮点!过期1天的食物还能吃吗?
日系中的另类!国产马自达CX-50内饰发布:原汁原味引入海外版
加速资源整合,星纪魅族围绕手机、XR、前瞻技术拓展智能生态
Prompt-Engineering-Guide 学习摘要2
今日关注:电动汽车综合检测
观焦点:这几个群,程序员可千万不要进!
每日快讯!12万元买宝马“3系”?宝马中国回应降价传闻:指导价没变
当前快讯:玩家不满《魔戒:咕噜》新宣传片:他没有主角光环!
环球热讯:小米搞出“新花样”:可层叠摄像模组专利获授权
焦点快报!没有秘密了!AI或能够读取大脑重现梦境