最新要闻
- 焦点热议:跨境电商平台公布海外数字化展会首批重点名单 涵盖新能源等多个外贸核心行业
- 热讯:女孩用吹风机吹头发:插座处突然着火
- 播报:RTX 4060售价6999元 七彩虹将星X15 AT游戏本图赏
- 130MB/s读写稳如磐石!希捷酷玩系列蜘蛛侠特别版游戏硬盘2TB评测:RGB超有范儿
- 吃面比吃米更易发胖 西安交大团队证实:三大原因
- 当前聚焦:中国联通空中基站研制成功:无人机留空最长8小时 信号覆盖100平方公里
- 爱玛MVP战神新国标电动两轮车直降千元:1499元 能跑40km
- 【天天报资讯】V社“钓鱼”打击外挂:《Dota 2》一次性封禁4万作弊玩家
- 全球聚焦:百度2022年赚了207亿 李彦宏放大招:多项业务整合文心一言
- 全球看点:孙正雯微博_孙正雯
- 女子连刷11个差评被曝光 当事人要起诉商家:视频流传到全网 严重影响生活
- 肉眼可见!今晚上演金星伴月木星相随 不看亏大了
- 热门看点:一年挣了3700亿元 马斯克被股东联合起诉:工资太高
- 热议:ROG推出新款XG27AQMR显示器:2K Fast IPS、300Hz刷新率
- 迅雷重磅升级堪比NAS:远程可看电脑片库 手机、电脑、电视全打通
- 三元锂电池剧烈萎缩 比亚迪刀片电池走对了:消费者纷纷买单
手机
iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- iphone11大小尺寸是多少?苹果iPhone11和iPhone13的区别是什么?
- 警方通报辅警执法直播中被撞飞:犯罪嫌疑人已投案
- 男子被关545天申国赔:获赔18万多 驳回精神抚慰金
- 3天内26名本土感染者,辽宁确诊人数已超安徽
- 广西柳州一男子因纠纷杀害三人后自首
- 洱海坠机4名机组人员被批准为烈士 数千干部群众悼念
家电
当前最新:006 - 数据类型、来源和清洗
存储和提取数据所使用的数据库技术很大程度上取决于所使用数据的属性。如果数据的搜集和预处理工作没有做好,将会带来严重的后果,从另一方面阐明了数据的重要性。毕竟,当你对结果进行仔细检查时,结果通常是带着很多小数的一串精确数字,但这只是虚假精确(false precision)。所以,面对一个带有很多位小数的精确数字时,我们并不可以完全信赖这一数字。因为我们所关心的交易类型是具有时效性的,因而时间因素显得很重要。
如果数据本身存在严重问题,无论检验方法多么复杂,模型多么完美,都不可能判断出待检验的交易系统是好是坏。
(资料图片仅供参考)
数据类型
数据基本上可以分为两大类:价格数据(price data)和基本面数据(fundamental data)。
价格数据并不仅仅是和金融产品价格相关的数据,也包括从交易行为中得到或提取的其他信息。股票的交易量、每笔交易的时间及规模等都属于价格信息。
基本面数据包含的范围很宽泛,因而难以进行有效分类。从某种意义上讲,基本面数据是指除了价格数据之外的所有数据。但是,所有类型数据的共同特征是,这些数据有助于决定金融产品未来的价格或者至少描述金融产品目前的状况。最常见的基本面数据种类有财务健康状况(financial health)、财务表现(financial performance)、财务价值(financial worth)和情绪(sentiment)等。
大部分价格数据倾向于关注短期效应,讨论的都是每日数据甚至日间连续数据。而在基本面数据中,我们看到的数据通常是周度、月度或季度数据。从这一不同的时间周期马上能够看出,一般来说使用价格数据(基本面数据)的相关交易策略通常是短期(长期)策略。这是因为,一般来说价格数据比基本面数据更新的频率更高。
数据来源
主要的数据源及数据种类包括以下几种。
交易所:价格、交易量、时间戳、持仓量、空头持仓量、订单簿数据。
监管机构:各个公司的财务报表、个股的大股东持股情况以及内部买卖活动。
政府:宏观经济数据,如失业率、通货膨胀及GDP数据。
公司:财务报告及其他公告(如红利的变化等)。
新闻机构:新闻报道。
数据专营供应商(或数据加工者):可能有用的一些生产数据。如经纪公司经常发布关于上市公司的报告,一些公司追踪并发布基金的现金流数据。
数据清洗
第一类常见的数据问题是缺失值。当部分信息确实存在,但由于各种原因数据提供者无法提供这些数据,便会发生数据缺失现象。若没有数据,交易系统什么也做不了,所以数据缺失是个很严重的问题。
常用的处理缺失值的一个方法是,使用最近的一个已知价格数据,直到一个新的价格数据可用为止。第二种方法是在缺失值出现的位置进行插补,补上一个合理的数据。这个方法对于历史数据有用,对实时数据并不奏效;但对实时数据也有很多方法可以使用。
第二类常见的数据问题是错误观测值。例如,小数点错误就很常见。以英国股票价格为例,有时以英镑为单位,而有时又以便士为单位。
交易所和其他数据源经常会排除坏点(bad prints),就是指那些根本不会出现的数值或者至少不会以数据源所预示的方式出现的数据。
目前解决这一问题最为常用的是被称为异常值过滤(spike filter)的方法。异常值过滤方法寻找价格数据中那些幅度特别大、突然的变动,并对这些变动进行平滑或直接删除。
但有时候,这种异常的数据点是真实存在的一个点。为了减少这一问题的影响,一些宽客使用异常值过滤方法来提醒,辅以系统监管人员进一步查看该数值,检测这一问题。基于所查看到的事实,人工可以做出判断,对这一异常价格应该怎么处理。当某一个数据有多个数据源时,另一种常用的有效方法是使用来自不同数据源的数据进行交叉核实。如果相互匹配,这很可能是个正确的价格数据。如果无法匹配,至少其中一个是有问题的。
另一个常见的数据错误类型和公司的行为有关,例如配股和分红等。如果数据供应商没有记录这次配股,因而没有调整历史数据以反映公司行为。量化交易系统可能会受到误导。
另一个令人头疼的问题是,有时数据中会含有错误的时间戳。这一问题通常出现在日间数据或实时数据中,但其他数据中也存在这个问题。这是个比较难解决的问题。显然,时间序列的路径至关重要,尤其对关注阿尔法收益的量化交易者而言需要指明金融产品的买入卖出以及清仓时机。这时,如果因为数据源的错误导致时间序列被打乱,会带来很大麻烦。
最后,需要提到一个不太明显的数据问题,被称为前视偏差(look-ahead bias),我们将在本书中对该主题进行多次探讨。前视偏差是指在某些事情真实发生之前便错误地假设已经知道了相关信息,还有另一种形象的表述“昨天之前就知道了昨天的新闻”。
为解决数据中的前视偏差问题,宽客可以记录下更新后的数据发布的日期,并且在模型验证时只在合理的时间段才使用这些数据。
另一类源于数据不同步性的前视偏差则是世界上不同交易市场收盘时间各不相同造成的。SPY(跟踪标准普尔500指数的ETF)在下午4点15分结束交易,但构成标准普尔500指数的股票4点后就不再交易。欧洲股票市场在纽约时间上午11点到晚上12点间不进行交易。一天中纽约开盘时亚洲市场已经收市了。很多情形下,美国的新闻和交易活动对欧洲和亚洲市场的重大影响直到第二天才能体现出来。
数据存储
第一种数据库是没有相对关系结构的平面文件(flat file),这种两维的数据库和普通的表格很类似。这种平面文件数据库不会因为需要加载太多内容而变慢,由于简洁而广受欢迎。这种简单的文件结构很容易进行搜索,通常是顺序搜索(如从第一行到最后一行)
第二类数据存储系统是关系数据库。关系数据库允许数据集中出现更加复杂的关系。例如,假设我们不仅想追踪股票自身的数据,还需要其所在产业、所在生产部门、所在国指数以及所处的股市的一些数据。
有一类很重要的关系数据库被称为数据立方体(data cube),数据立方体强调关系数据库的一致性,把所有金融产品所有属性的取值都放到一个三维数据表中。对某个日期而言,所有产品都列在这张表的一个坐标轴上。第二个轴则存储所有产品给定属性(如当日收盘价)的取值。第三个轴则存储其他属性的取值(如当日每股收益)。
当前最新:006 - 数据类型、来源和清洗
焦点热议:跨境电商平台公布海外数字化展会首批重点名单 涵盖新能源等多个外贸核心行业
热讯:女孩用吹风机吹头发:插座处突然着火
播报:RTX 4060售价6999元 七彩虹将星X15 AT游戏本图赏
130MB/s读写稳如磐石!希捷酷玩系列蜘蛛侠特别版游戏硬盘2TB评测:RGB超有范儿
第七章 程序是在何种环境下运行的
二八轮动策略:基础与改进
Python迭代器是啥?
【世界速看料】学习笔记——Git命令
世界时讯:Vue相关笔记
吃面比吃米更易发胖 西安交大团队证实:三大原因
当前聚焦:中国联通空中基站研制成功:无人机留空最长8小时 信号覆盖100平方公里
爱玛MVP战神新国标电动两轮车直降千元:1499元 能跑40km
【天天报资讯】V社“钓鱼”打击外挂:《Dota 2》一次性封禁4万作弊玩家
全球聚焦:百度2022年赚了207亿 李彦宏放大招:多项业务整合文心一言
世界报道:Vue3从基础到精通
【算法训练营day56】LeetCode583. 两个字符串的删除工作 LeetCode72. 编辑距离
全球看点:孙正雯微博_孙正雯
女子连刷11个差评被曝光 当事人要起诉商家:视频流传到全网 严重影响生活
肉眼可见!今晚上演金星伴月木星相随 不看亏大了
热门看点:一年挣了3700亿元 马斯克被股东联合起诉:工资太高
热议:ROG推出新款XG27AQMR显示器:2K Fast IPS、300Hz刷新率
迅雷重磅升级堪比NAS:远程可看电脑片库 手机、电脑、电视全打通
当前动态:vue08----()
全球讯息:Cloudkit游标分页获取数据
教你编写SQLMap的Tamper脚本过狗
职场IT老手教你3步教你玩转可视化大屏设计,让领导眼前一亮!
三元锂电池剧烈萎缩 比亚迪刀片电池走对了:消费者纷纷买单
精彩看点:研究发现AI在某些方面不如婴儿:很难监测人类行为动机
死磕到底!车顶维权女车主:特斯拉刹车失灵事件过去3年 官方仍未提供数据
世界今日报丨RTX 4070游戏本性能平平:有媒体评测一半放弃了!
环球消息!会员数近1.2亿!爱奇艺2022首次全年盈利:净利13亿 会员限制已妥协
每日热门:【算法训练营day55】LeetCode392. 判断子序列 LeetCode115. 不同的子序列
今日快看!vue+html5实现上传图片
【全球播资讯】Linux命令-文件、磁盘管理
大势前瞻!文旅还是短视频,你弯道超车风口在这了
环球关注:杭州余杭新居民落户当天可拿市民卡,医保、社保同时办理
世界快资讯:网红老师张雪峰吐槽还60万房贷利息57万 道歉:朋友弄错了
有灵魂的米饭:仓浪河东北黑龙江五常大米稻花香5kg 37.9元大促
天天即时看!经典之作退场!开发商Rovio宣布《愤怒的小鸟》将下架安卓平台
当前滚动:广东一车主加完油从车窗撒钱离去引众怒:车主回应已致歉 为何最基本尊重做不到
1个App能扫全品牌共享单车!全能车被哈啰告上法庭判赔六千万元
环球百事通!拍一拍后缀怎么弄
今日热文:浅识面向对象和面向过程
世界短讯!Framework 中使用 Toolkit.Mvvm 的生成器功能
科幻杂志被ChatGPT生成投稿“淹没”:无奈关闭投稿渠道
拿下一百多项年度大奖!《艾尔登法环》累计销量破2000万份
世界最新:头皮发麻!半夜追剧腾讯视频突然跳转恐怖片 客服:需重新下载客户端
当前滚动:博主实测理想L7越野性能 李想:中国路上95%的车 一个项目都过不去
天天热消息:新一代国产本田雅阁内饰曝光:比美版少了多个实体按键
每日聚焦:大数据应用场景下,标签策略如何实现价值最大化?
通讯!98%的程序员,都没有研究过JVM重排序和顺序一致性
环球即时看!查看Linux系统下CPU、内存、硬盘等信息
环球短讯!第121篇: DOM常用类型(Document、Element)
全球实时:CountDownLatch的使用
世界速讯:鹏都农牧:缅甸肉牛暂无法通关,公司正在积极推进复工复产工作
天天看点:10岁小学生玩游戏18天花掉14万 退款申请腾讯无视:家长感慨一定看好支付密码
焦点精选!摩托罗拉Razr 2023外观曝光:超大外屏抢眼
全球微头条丨安卓都16GB内存了 iPhone 15 Pro还在挤牙膏
【时快讯】或6.58万起 疑似比亚迪海鸥售价曝光:最远能跑405km
中国香港影史首部票房破亿华语电影诞生 此前TOP10均为好莱坞
每日快看:【黑科技】GPS北斗卫星授时技术下的NTP网络时间服务器
世界热头条丨每天走路10000步很健康?错 大错特错!
踢翻日系!比亚迪又要对BBA动手了
当前报道:20年来最低点!PC出货量暴跌:Intel等巨头业绩“凉凉” 显卡存储也没人买
SpringCloud+Dubbo3 = 王炸 !
世界微动态丨理想汽车:被4S店PUA、不如看看直营无套路零售中心
网红玩具有危险!2岁幼童误吞28颗磁力珠 医生提醒:必须及时取出
叫板特斯拉 保时捷:单踏板模式制动能量回收效率不高
座位被占 女子爬火车行李架睡觉:千万不要模仿
环球资讯:WiFi万能钥匙联合长安汽车,“一键连接”拓展至车机端
木鱼cms系统审计小结
世界资讯:单调栈
灵魂摆渡的作者真的杀了他的妻子吗?灵魂摆渡的经典台词有哪些?
董明珠回应直播带货争议:不是为了卖产品 是推广技术
当前关注:12万就能上太空!日企将用高空气球开启太空旅游
【天天播资讯】昔日国内共享单车巨头!ofo小黄车被曝无法登录:超1600万人押金没退
“AI飞行员”成功驾驶战斗机 美国顶尖飞行员曾是手下败将
播报:暴雪公布《暗黑破坏神4》实机画面:有《暗黑2》那味了
六一儿童节的优美句子有哪些?关于六一儿童节的作文汇总
移动空调效果如何选择?移动空调哪个牌子好又实惠省电?
迅雷崩溃是怎么回事?迅雷崩溃怎么解决?
家用数码相机怎么选?家用数码相机什么牌子最好?
三星S8000c什么时候上市的?三星s8000c功能介绍
直播预告 | 企业如何轻松完成数据治理?火山引擎 DataLeap 给你一份实战攻略!
分层测试(五):端到端测试
热文:李楠谈网暴 在线教网友“如何避免成为网暴的施暴者”
要闻速递:终于告别“板砖”适配器!联想拯救者Y9000P 2023将支持140W便携快充
499元 雷蛇炼狱蝰蛇V3专业版发布:59克超轻量化设计
融资客最看好个股一览
【码农教程】手把手教你学会Mockito使用
世界热门:用一个例子学会适配器设计模式
天天视点!量化工具篇
世界播报:2.概率论
视焦点讯!(数据库系统概论|王珊)第六章关系数据理论-第二节:规范化
别乱买!三大要素教你如何选对吸尘器
环球看点!一次看个够!《原子之心》双子舞伶所有场景合集
世界时讯:微软为Chrome官网注入大幅广告:只为将用户留在Edge
天天热资讯!微软收购动视暴雪获新盟友!NVIDIA态度转变签署10年游戏协议
热门:读Java实战(第二版)笔记17_反应式编程