最新要闻
- 头条:中秋节快乐贺词简短四字_中秋节快乐贺词
- 弯道超车?无需光刻工艺的处理器来了:成本暴降
- 重大突破!全国首例心脏不停跳人工心脏植入:患者恢复良好-世界视点
- 每日报道:21人合买 中2574万彩票摊主已转让摊位:4万就转手
- iQOO Neo8系列将支持Wi-Fi 7:峰值速率高达3.6Gbps 焦点信息
- 网传迪士尼乐园将落户成都 官方回应:暂未收到选址情况 世界时讯
- 抓好消防安全 保高质量发展_热点
- 风靡全球20年 “最美奔驰轿车”CLS宣布停产_讯息
- 电源撑得住吗?AMD CPU功耗未来将达600W 比Intel还高100W 视讯
- 广东河源2023年1月自考延期考试成绩查询时间:5月11日15时
- 雪榕生物:雪榕源已于2023年第一季度推出产品,具体您可以通过抖音“雪榕膳食旗舰店”详细了解
- 准点下班被辞退仲裁胜诉 当事人:为讨领导开心的无效加班真没必要
- 用上“最黑的黑” 比亚迪汉DM-p战神版实拍:3.7秒加速的性能怪兽 世界热门
- 热点聚焦:喝的人越来越少!星巴克中国最贵单品更换原料但不官宣 网友炮轰降本不降价
- 国产Chiplet小芯片工艺稳定量产 国际客户4nm工艺产品已出货 焦点日报
- 微软690亿美元收购动视暴雪交易获欧盟批准
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
全球快看点丨统计学习方法笔记-感知机学习方法
感知机(Perceptron)
1.感知机模型
1.1感知机定义
输入空间$ \mathcal{X} \subseteq \mathbb{R}^n$ ,输出空间\(\mathcal{Y}\)={+1, -1} ;
输入\(x \in \mathcal{X}\)表示的实例的特征向量,对应于输入空间的点,输出\(y \in \mathcal{Y}\)表示的实例的类别;
【资料图】
由输入空间到输出空间的如下函数:
f(x) = sign($ \omega \cdot x$+b)
\(\omega\) : 权值,b : 偏置;
\(\omega \cdot x\) : \(\omega\)和x的内积;
sign为符号函数;
1.2感知机几何解释
线性方程\(\omega \cdot x + b = 0\)对应于特征空间\(\mathbb{R}^n\)中的一个超平面S,其中ω是超平面的法向量,b是超平面的截距。这个超平面将特征空间划分为两个部分。位于两部分的点分别被分为正负两类。因此,S成为分类超平面。
2.感知机学习策略
2.1数据集的线性可分性
给定一个数据集T, 如果存在某个超平面S: \(\omega \cdot x + b = 0\)能够将数据集的正实例点和负实例点完全正确的划分到超平面的两侧,即yi\((\omega \cdot x + b) \ge 0\),则称数据集T为线性可分数据集。
2.2 感知机的学习策略
首先,输入空间\(\mathbb{R}\)n中任一点x0到超平面S的距离d:\(\frac{1}{||\omega||}|\omega \cdot x_0 + b|\)
证明如下:
在超平面S(\(\omega \cdot x + b = 0\))任选一点v1,所需公式\(\vec{v_0v_1} = ||v_0||||v_1||\cos\theta\)
d = \(||\vec{v_0v_1}||\cos(\vec{v_0v_1}, \omega)\)
= \(||\vec{v_0v_1}|| \frac{|\vec{v_0v_1} \cdot \omega|}{||\vec{v_0v_1}||||\omega||}\)
= \(\frac{|(x_1 - x_0) \cdot \omega|}{||\omega||}\)
= \(\frac{|-b - x_0\cdot \omega|}{||\omega||}\)
= \(\frac{1}{||\omega||}|\omega \cdot x_0 + b|\)
其次,对于误分类的数据(xi,yi)来说,\(-y_i(\omega \cdot x_i + b) > 0\),因此,误分类点xi到超平面S的距离是\(-y_i\frac{1}{||\omega||}|\omega \cdot x_i + b|\)。假设超平面S所有误分类点的集合为M,则所有误分类点的总距离为\(-\frac{1}{||\omega||}\sum_{x_i \in M}y_i|\omega \cdot x_i + b|\)。因此可得出损失函数为\(L(\omega, b) = - \sum_{x_i \in M}y_i(\omega \cdot x_i + b)\)
2.3 感知机算法
2.3.1原始形式(随机梯度下降法)
输入:训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中\(x_i \in \mathcal{X} = \mathbb{R}^n\),\(y_i \in \mathcal{Y} = {+1, -1}, i = 1,2,...,N;\) 学习率\(\theta(0 < \theta \le 1);\)
输出:\(\omega\),b;感知机模型\(f(x) = sign(\omega \cdot x + b)。\)
过程:
1.选取初值ω0, b0;
2.在训练集中选取数据(xi, yi);
3.如果\(y_i(\omega \cdot x_i + b) \le0\),\(\omega \leftarrow \omega + \theta y_ix_i\),\(b \leftarrow b+\theta y_i\)。
4.转至2,直至训练集中没有误分类点。
注:感知机学习算法由于采取不同的初值或选取不同的误分类点,解可以不同。
2.3.2算法的收敛性
证明:经过有限次迭代可以得到一个将训练数据集完全正确划分的分离超平面及感知机模型。
为了叙述与推导,\(\hat \omega = (\omega^T,b)^T, \hat x = (x^T, 1)^T,\hat \omega \cdot \hat x = \omega \cdot x + b\)。
训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中\(x_i \in \mathcal{X} = \mathbb{R}^n\),\(y_i \in \mathcal{Y} = {+1, -1}, i = 1,2,...,N;\) 则
(1)存在满足条件\(||\hat \omega_{opt}|| = 1\)的超平面\(\hat \omega_{opt} \cdot \hat x = \omega_{opt} \cdot x + b_{opt} = 0\) 将训练数据集完全正确分开;且存在\(\gamma > 0\), 对所有的i= 1,2,...,N,\(y_i(\hat \omega \cdot \hat x) = y_i(w_{opt} \cdot x_i + b_{opt}) \ge \gamma\)。
证明如下:
由于训练集是线性可分的,故存在一分离超平面。不妨设改平面为\(\hat \omega \cdot \hat x = w_{opt} \cdot x_{opt} + b_{opt} = 0\),使\(||\hat \omega_{opt}|| = 1\)。
于是对于所有有限的i,均有\(y_i(w_{opt} \cdot x_i + b_{opt}) > 0\)。
取\(\gamma > 0\),则\(\gamma = min_{i}{(y_i(\omega_{opt} \cdot x_i+b_{opt}))}\)。
所以,(1)得证。
(2)令\(R = max_{1 \le i \le N}||\hat x||\),则在\(f(x) = sign(\omega \cdot x + b)\)在训练数据集上的误分类次数k满足不等式\(k \le {(\frac{R}{\gamma})}^2\)
证明:\(\hat \omega_{k} \cdot \hat \omega_{opt} \ge k\gamma\eta\),$\hat w_{k} $是第k个误分类点实例的扩充权重向量。
\(\hat \omega_k \cdot \hat \omega_{opt} = (\hat \omega_{k-1} + \eta y_i \hat x_i)\hat \omega_{opt} \\ \ge \hat \omega_{k-1} \cdot \hat \omega_{opt} + \eta \gamma \\ = (\hat \omega_{k-2} + \eta y_i \hat x_i)\hat \omega_{opt} \\ \ge \hat \omega_{k-2} \cdot \hat \omega_{opt} + \eta \gamma \\ \ge... \\ \ge k\eta\gamma\)
证明:\(||\hat \omega_{k}||^2 \le k \eta^2R^2\)
\(||\hat \omega_k||^2 = ||\hat \omega_k||^2 + 2\eta y_i \hat \omega_{k-1} \cdot \hat x_i + \eta^2||\hat x_i|| \\ \le ||\hat \omega_{k-1}||^2 + \eta^2||\hat x_i|| \\ \le ||\hat \omega_{k-1}||^2 + \eta^2R^2 \\ \le ||\hat \omega_{k-1}||^2 + 2\eta^2R^2 \\ \le ... \\ \le k\eta^2R^2\)
由上述可得,\(k\eta\gamma \le \hat \omega_k \cdot \hat \omega_{opt} \le ||\hat \omega_k|| ||\hat \omega_{opt}|| \le \sqrt k \eta R \rightarrow k^2\gamma^2 \le k R^2 \rightarrow k \le (\frac{R}{\gamma})^2\)
定理表明,误分类次数k是有上界的,经过有限次搜索可以找到分离超平面。即当训练数据集线性可分时,感知机学习算法原始形式迭代时收敛的。
2.3.3 对偶形式
输入:训练数据集T = {(x1, y1), (x2, y2), ....., (xN,yN)},其中\(x_i \in \mathbb{R}^n\),\(y_i \in {+1, -1}, i = 1,2,...,N;\) 学习率\(\eta(0 < \eta \le 1);\)
输出:\(\alpha\),b;感知机模型\(f(x) = sign(\sum_{j=1}^N \alpha_j y_j x_j \cdot x + b)。\)
过程:
1.\(\alpha \leftarrow0, b \leftarrow 0\);
2.在训练集中选取数据(xi, yi);
3.如果\(y_i(\sum_{j=1}^N \alpha_j y_j x_j \cdot x_i + b) \le0\),\(\alpha_i \leftarrow \alpha_i + \eta\),\(b \leftarrow b+\eta y_i\)。
4.转至2,直至训练集中没有误分类数据。
注:Gram矩阵:训练集中实例间的内积计算并以矩阵形式存储,该矩阵为Gram矩阵,记为\(\mathtt{G} = [x_i \cdot x_j]_{N \ast N}\)。
关键词:
-
全球快看点丨统计学习方法笔记-感知机学习方法
感知机(Perceptron)1 感知机模型1 1感知机定义 输入空间$ mathcal{X} subseteq mathbb{R}^n$,输出
来源: -
今日热文:易基因:多组学关联分析及组学分子实验验证方法(表观组+转录组+微生物组)|干货系列
大家好,这里是专注表观组学十余年,领跑多组学科研服务的易基因。生物过程具有复杂性和整体性,单组学数据
来源: 全球快看点丨统计学习方法笔记-感知机学习方法
今日热文:易基因:多组学关联分析及组学分子实验验证方法(表观组+转录组+微生物组)|干货系列
AHB2APB bridge IP使用
头条:中秋节快乐贺词简短四字_中秋节快乐贺词
弯道超车?无需光刻工艺的处理器来了:成本暴降
重大突破!全国首例心脏不停跳人工心脏植入:患者恢复良好-世界视点
每日报道:21人合买 中2574万彩票摊主已转让摊位:4万就转手
iQOO Neo8系列将支持Wi-Fi 7:峰值速率高达3.6Gbps 焦点信息
网传迪士尼乐园将落户成都 官方回应:暂未收到选址情况 世界时讯
抓好消防安全 保高质量发展_热点
@Getter cheated me
关于忘记kubernetes-master节点的token以及让新node节点加入k8s集群的命令的处理方法
风靡全球20年 “最美奔驰轿车”CLS宣布停产_讯息
电源撑得住吗?AMD CPU功耗未来将达600W 比Intel还高100W 视讯
广东河源2023年1月自考延期考试成绩查询时间:5月11日15时
C#异步方法async/await的三种返回类型
PhotoShop的平替: GIMP
雪榕生物:雪榕源已于2023年第一季度推出产品,具体您可以通过抖音“雪榕膳食旗舰店”详细了解
准点下班被辞退仲裁胜诉 当事人:为讨领导开心的无效加班真没必要
用上“最黑的黑” 比亚迪汉DM-p战神版实拍:3.7秒加速的性能怪兽 世界热门
热点聚焦:喝的人越来越少!星巴克中国最贵单品更换原料但不官宣 网友炮轰降本不降价
国产Chiplet小芯片工艺稳定量产 国际客户4nm工艺产品已出货 焦点日报
微软690亿美元收购动视暴雪交易获欧盟批准
阿里云数据库ClickHouse产品和技术解读
高效联调,可靠发布!华为云推出CodeArts Release发布管理服务
玩转Zabbix智能告警:降噪、排班、认领、升级、IM协同
机器学习服务语音合成,解锁智能养娃新趋势|速看
注册会计师报考费用2023
【新要闻】年轻人越来越吃不起鸭脖?女子武汉坐高铁满车人都在啃鸭脖 直言被馋哭
出海国产手游战绩:米哈游超腾讯 《原神》第一、《崩坏:星穹铁道》第七 天天快看点
管住嘴果然有用!科学家:保持饥饿感或可延缓衰老 每日时讯
世界观点:国产电动车反攻欧洲 法国急忙出手限制:砍掉3.8万元补贴
迪卡侬双11促销虚标原价被罚!网友大赞:消费者苦假促销久矣-每日头条
史上最全 Activiti 学习教程,一文搞定最强工作流引擎! 天天快消息
可观测性三支柱?远不止此!|全球快播报
每日观察!Linux-特殊权限设置(SUID、SGID、SBIT)
智能补全音源损失!索尼蓝牙耳机暴降130元
“北向互换通”上线 人民币国际化再提速-资讯
国家统计局:4月份社会消费品零售总额同比增长18.4%
当前时讯:罕见!抗阿尔茨海默病“第二人”出现
速降35℃!黑鲨冰封散热背夹3 Pro预售 首销199元_当前热议
世界今日讯!4000元档良心所在 Redmi Book 14处理器公布:45W标压12代酷睿
16GB大内存稳了!iQOO Neo8 Pro官宣搭载性能铁三角 最资讯
世界新动态:就看这款了!蔚来全新ES6上市定档:“高端中型SUV天花板”登场
蔚来起诉网红索赔500万!公关总监:绝不姑息造谣、污蔑行为
尘埃歌词我的爱像尘埃在线试听 尘埃歌词我的爱像尘埃
pg_enterprise_views安装及使用
JS中的偏函数
虚拟机网络配置_全球资讯
天天即时看!华东医药:5月15日融资买入1046.79万元,融资融券余额9.64亿元
暴汗燃脂!腾讯首款体感健身应用《舞动极光》发布:手机+电视就能玩
速读:一键开盖 耐热抗摔:哈尔斯Tritan材质单手开盖水杯14.9元发车
《王者荣耀》第四款敦煌皮肤、八周年限定皮肤都来了_环球热门
多地气温超36℃ 今夏还会“热哭”吗?专家称没有去年热 今日热闻
技术不成熟 无人驾驶汽车在旧金山“疯狂搞事”:还拦不住-快消息
时讯:国家网信办:集中清理仿冒新闻单位、新闻主播账号10.7万个
狂神说ngnix笔记(附md文件下载链接)
前沿资讯!Upstart (UPST.US)向私人信贷商店Castlelake出售40亿美元消费分期贷款 股价涨超20%
今晚油价或迎年内“最大跌幅”!95号汽油有望回归7元时代
天天热门:当事人回应10万元买8套房:是特列但房价确实便宜 我买房只看价格
当前快报:50TB仅398元!国产小龙盘升级:新增联网模式AI聊天
张艺谋《满江红》最终票房45.44亿 位列中国影史第6位
焦点简讯:中银香港完成首批“北向互换通”交易
【读财报】科创板一季度业绩速览:近七成公司实现盈利 机械、通信等行业表现突出 今日聚焦
天天看点:我市统计承诺实践创新获评国家优秀案例
每日观察!俞敏洪:中国的农村不能凋敝 不能让农民打理农村
云南13亩小岛1元起拍引关注:网友直呼可以当岛主了
32岁女生相亲角因条件高被男子怼哭 上海有房、5万彩礼:网友吵翻
观速讯丨中国影史第10!《流浪地球2》最终票房40.29亿 打破34项影史纪录
环球信息:国产新SSD发布:基于RISC-V架构 全面兼容国产自研系统、处理器平台
学系统集成项目管理工程师(中项)系列22a_信息化知识(上)
2022年01月06日最新发布:索尼Xperia1II5G售价1199欧元
广东情侣住酒店凌晨被人开门闯入 服务员记错房间号:网友直呼可怕
当前焦点!骨灰级技术大牛左耳朵耗子(陈皓)突发心梗离世。
基于Arduino和ESP8266的JSON数据获取与解压之和风天气-全球快讯
Cryptohack wp (GENERAL篇)|世界热消息
使用策略模式重构 if/elseif/elseif
电磁炉辐射范围多少米_电磁炉对孕妇有辐射吗
外卖平台热销榜第一店铺环境简陋:画面斑驳不堪
环球今日报丨终极能源!盖茨、贝索斯押注的可控核聚变:中国公司跟进了
【独家焦点】丰田要给纯电车装手动挡!我看它是真急了
老外上网课最喜欢用的电脑 现在却变成了电子垃圾
高温来袭!北方30℃以上范围连成一片|全球焦点
今日快看!中国东方教育(00667.HK):5月15日南向资金增持4.35万股
焦点观察:作为这家数码潮牌的孵化人,我们真心想推荐一下这个产品
惠普打印机弹出用户使用第三方墨盒警告 称对硬件性能造成威胁
《霍格沃茨之遗》登顶PS4 Fami通日本实体游戏销量榜现已公布
电影《流浪地球2》5月15日结束公映 累计总票房高达40.29亿
网传北京软星技术团队解散 宇峻奥汀游戏制作人谢宗辉回应
报道显示小龙虾价格一路走低 从此前的20元每斤爆降到10元每斤
Bing搜索桌面端市场份额下降 谷歌仍占据行业龙头地位
《刺客信条》15周年限量手办现已发售 打造专属猫奴的潮玩形象
《超级马里奥兄弟大电影》已成功超越小黄人 成为有史以来票房收入第四高动画
网传苹果将在2023年全球开发者大会公开首款MR头显装置 于9月实现量产
环球观察:频繁放屁说明身体有病?医生:这多半与3个因素有关,别不当回事
2023年中国本科生就业报告发布 IT产业依旧为吸金圣器
花样啃老?回家做“全职儿女”年轻人 40岁裸辞父母每月开4千 专家称别歧视
性能最强曲面屏旗舰!vivo X90S关键参数曝光|世界速递
生产力神器!华为笔记本新品来袭
快看:Docker入门与实战-初识Docker