• 本文节选自即将出版的《数据科学家养成手册》。

将数据科学中的思想融会贯通应用到生产当中是很多大数据架构师、大数据分析师以及所有大数据产业的从业者都希望做到的事情。
任何一个案例都有自己的特性，要解决的主要矛盾也不尽相同，而且对于很多案例来说其复杂程度本身都能成书一册，要想三言两语把一个案例从头到尾分析清楚那是有点痴心妄想，不过我们不妨通过两个有趣的事例来说明数据科学的应用在具体场景中的指导作用。

18.1 K线图里的秘密

炒过股票或者进行黄金、外汇交易的读者朋友应该对K线图不会陌生。这是一种以表示周期内报价波动信息的图形，由于形状像蜡烛所以也叫蜡烛图。
在每一根蜡烛上有四个关键的数据信息，分别是开盘价、最高价、最低价、收盘价。蜡烛图表示的周期可以根据观察者的需要进行“压缩”，由于每一刻报价数据都在做变化，所以这种变化在时域t上会拖出一个拖影，而这种数据由于量太大所以通常不太容易进行观察和分析，那么就需要在时间这个维度上进行压缩。常见的方式是在一个 内，取在这个时间段内的开盘价、最高价、最低价、收盘价四个价格做一根“蜡烛”。根据分析的需要也有1分钟、5分钟、15分钟、30分钟、60分钟、1天、1周、1月这样的周期。

图1-1 K线图（EURUSD，5分钟）
以上图为例，这是一张欧元兑美元的报价K线图，每一柱蜡烛都表示一个5分钟内的数据情况。绿色代表收盘价比开盘价高的情况，称为“阳柱”；红色代表收盘价比开盘价低的情况，称为“阴柱”。在上下两端拉出的细线称为“影线”，分别表示在这一个时间单位中价格所去到的最高点和最低点。

18.1.1什么是市场

市场（Market）这个词汇原本是指交易的场所，现在泛指交易行为所构成的全体要素。
市场有几个重要的概念，第一个就是商品。
商品是指交易双方交易的对象，卖出商品的一方叫做卖家，买入的一方叫做买家。
按照经济的定义来看，市场经济（又称为自由市场经济或自由企业经济）是一种经济体系，在这种体系下产品和服务的生产及销售完全由自由市场的自由价格机制所引导，而不是像计划经济一般由国家所引导。也就是说在市场上有供需的双方，有交易的对象这就已经构成了市场本身。
在股票或外汇市场中，交易的双方是在用一种货币或者有价证券与对方的货币或者有价证券进行交换，双方的定价权是自由的。

18.1.2谁在控制价格

对于一宗交易来说，成交价是非常重要的因素，一般我们也习惯把商品的成交价称为价格，而且只有成交时候的价格才有意义。按照市场经济的规律，价格是由供需双方的矛盾决定的，是一种自由博弈的结果。这对矛盾就是大量的卖家卖出商品换取货币和买家卖出货币换取商品的矛盾，注意这里货币本身也是商品，在市场供需中它与其它商品的区别仅仅在于它是一般等价物是一种用来给其它商品标识价格的计量单位。
我们看到有这样一种说法叫做“有价无市”，这个词的含义通常指卖家喊出的价格没有买家愿意与之成交。这个现象背后构成的因素很多，但是总体来说可以只理解为卖家喊价超过买家心里预期值，就会出现这样一种现象——有商品供应方，有出售价格，但是不成交。
通常我们谈到的“市场价格”是指宏观性的成交价格，也就是指在市场上大量成交的价格。按照刚刚说的这样一种供需自由博弈的观点来看双方的焦点仅仅在于成交价格一个因素，与动机无关。

1.低价成交原则

在市场博弈中有一个非常重要的原则就是“低价成交原则”——这个原则是指当商品的任何因素都完全一样的情况下，人们总是愿意优先购买价格更低的那一种商品。
例如，有两两个商家同时销售苹果手机iphone7 128GB/黑色/三网通用版，都是国产行货，同一批次，未开封，保修条件相同，摊位相邻……总之一切因素对于消费者来说都是完全一样的，但是一个6400元，一个6200元。一般人会怎么选？理论上说，要观察这个过程是应该在一段时间内看两个商家各自成交的数量来完成这个实验过程，而且要保证这两个商家在来往的顾客中保持一样的流量入口和招待气氛。这个过程太理想了，几乎是没办法做到完美实验的。不过如果真的是完全一模一样的商品，无差别的商品，价格低的会更吸引人，更容易成交——这个是来源于人类本身的“趋利避害”的决策原则的。
因此，在市场上各买卖双方之间产生的对于某种特定商品的成交价都是由大量供应的同等产品的最低价格来决定的。也有一些个别的成交案例会不以这一原则发生，比如馈赠——不要钱就把产品赠送给某些人；比如个别人急于清仓进行的降价处理等，只要这些行为在整个市场的体量中足够小，那么这些对于整个市场价格就是可以忽略的行为。

2. 价格的波动

在市场上还有一种现象几乎是天天都能看到，那就是价格的波动。价格不是一成不变的有很多的因素和动机都会引导价格的上涨和下降。
价格的波动从最简化的角度去看还是供需矛盾不均衡的问题，虽然这之后的价格影响因素很多，比如有制造成本压力因素，有税收政策因素，有人力成本因素等等，但是最后反应到市场上是可以用一个抽象的名词来代替的，叫做“市场情绪”。
“市场情绪”是普遍存在的，但通常在投机交易市场中尤为明显。“市场情绪”带来的是对某一种或者某一类商品的“买入”或“卖出”的态度。在投机市场和非投机市场我们都分别来找一个例子说明这样一种态度的存在吧。
郁金香泡沫，又称郁金香效应（经济学术语），源自1636年荷兰的历史事件。作为人类历史上有记载的最早的投机活动，荷兰的“郁金香泡沫”昭示了此后人类社会的一切投机活动，尤其是金融投机活动中的各种要素和环节：对财富的狂热追求、羊群效应、理性的完全丧失、泡沫的最终破灭和千百万人的倾家荡产。
有人考证说，郁金香的原产地是中国。据说在很久以前，骑在骆驼背上的商人们通过丝绸之路把郁金香带到了土耳其。根据文献记载，郁金香在16世纪中叶从土耳其传入奥地利，然后从这里逐步传向西欧。当时，荷兰是世界上屈指可数的强国，以其独特的气候和土壤条件，荷兰很快就成了郁金香的主要栽培国之一。
1630 年前后，荷兰人培育出了一些新奇的郁金香品种，其颜色和花型都深受人们的欢迎。典雅高贵的郁金香新品种很快就风靡了欧洲上层社会。在礼服上别一枝郁金香成为最时髦的服饰。贵夫人在晚礼服上佩戴郁金香珍品成为显示其地位和身份的象征。王室贵族以及达官富豪们纷纷趋之如鹜，争相购买最稀有的郁金香品种。特别是在法国盛行的奢侈之风把郁金香的价格逐渐抬高起来。在1635年秋季，名贵品种郁金香的价格节节上升。在巴黎一枝最好的郁金香花茎的价钱相当于110盎司的黄金。
到1634年以后郁金香的市场需求量逐渐上升。在1636年10月之后，不仅珍贵品种的价格被抬高，几乎所有的郁金香的价格都飞涨不已。在短短的一个多月期间内，郁金香的价格被抬高了十几倍，甚至几十倍。郁金香花达到了空前绝后的辉煌。好景不长，郁金香泡沫只维持了一个冬天，在开春之前，郁金香泡沫崩溃了。郁金香市场一片混乱，价格急剧下降。1739年的数据显示出，有些品种郁金香的价格狂跌到最高价位的0.005%。
这是典型的在投机市场方面的例子。
2009年6月底，几乎与强热带风暴“莲花”登陆福建同时,一股谣言突袭福建,随之劲刮的食盐抢购风席卷宁德、福州、南平、莆田、三明等市。2009年6月21日，宁德市霞浦县突传谣言，说盐场受到污染，食盐断货且要涨价，许多市民抢购食盐，部分乡镇断货，个别地方1元/包被不法商贩炒至3~5元。当晚谣言传至宁德市蕉城区和福州市区，引发市民抢购，部分商店断货。宁德地区和福州地区平常日订货量分别为44吨和77吨，但21日晚至22日10时，订货量猛增至321吨和716吨。
在这种疯狂抢购的行为背后就是一种买入的情绪，对于大部分市民的购买行为来说买入食盐是为了囤积和食用而不是为了低买高卖，这种行为就是非投机行为，但它同样能够起到哄抬物价的作用。

3. 货币的价格

一般来说对于完全相同的商品才好讨论价格，所以制式的商品通常比较价格的意义更为明显。例如，电脑配件或外设（MP4、PAD、录音笔等），一手汽车，甚至包括矿泉水、方便面、餐饮调料等等这些工业品。这些产品的描述指标比较固定，而且数值化清晰，所以在比较的时候很容易，对于描述指标完全一样的产品值比较价格就可以决定了。但是其他的产品通常就比较困难，比如水果蔬菜、粮食、服装鞋帽等，这些在原材料大宗交易的场合下通常会有比较丰富的技术指标进行考量，但是在零售领域，尤其是在老百姓接触的这种零售领域即便开放了技术指标也未必能读得懂，就更别说根据这些丰富的指标做比较和判断了。
然而像股票、货币等这些在市场上自由交易的有价证券或外汇期货等产品来说这个比较就容易很多，因为作为一个买家来说不管是谁出售给你的股票或欧元都是毫无差别的股票或欧元，只需要比较开价高低就可以了。

18.1.3货币价格的形成

对于某一种商品在一个封闭的市场中有卖家和买家两方来决定价格，货币价格的形成也不例外。
通常货币是不容易出现所谓“庄家”操盘的，不容易有某个个人或者某个组织有足够的力量把大量的资金投入到外汇市场来做某些“恶意”的投机勾当，因为它的体量已经大到无法由个人或组织来操控的地步。绝大多数情况下确实是这样的。

我们所说的这种货币是在国际流通市场上普遍受到承认的大币种，例如欧元（EUR）、美元（USD）、英镑（GBP）、瑞士法郎（CHF）、加元（CAD）、日元（JPY）、新西兰元（NZD）、澳元（AUD）等。这些货币分别是由各个经济共同体或者国家的央行进行发布，而且这些国家或组织的央行相对都是经济体量比较大，在世界经济格局中扮演重要角色的国家，所以它们对自己所发布的货币是有着很好的信誉能力的。而其它一些国家的货币，尤其是小币种，例如越南盾、泰国铢、菲律宾比索、津巴布韦元等这些货币符号的颁布国都是经济体量较小，国内经济格局脆弱的国家。所以在国际市场上，这些货币通常不会有人愿意大量持有，因为这些货币符号会在大概率上出现上下波动剧烈的情况。
现在的货币已经没有一个是金本位[1]制度的了，通常货币的报价都是与美元挂钩，例如欧元兑美元为1.1260，那就是说1欧元兑换1.1260美元；美元兑日元为100.47，那就是说1美元兑换100.47日元。这些货币在国际市场上会由于各种原因进行汇兑，大宗的汇兑通常是由于国际间结算，而买卖货币的个体可能是某个银行，某个企业，也可能是某个个人，当然也可能是某个国家的央行，这些参与方都在有形无形地控制着货币价格的涨跌。
与股票这样的证券一样，货币的报价是由市场的供需决定的，而不是由一个组织就能定下来的，哪怕它是央行。央行如果想要控制货币的价格，那也没办法，只能利用各种手段来影响市场的供需，最后再由市场的供需反应到货币报价上去。

我们来看这样一个模型：

假如现在银行之间叫进行欧元买卖交易，也就是一方用手里的美元买欧元，一方卖出用手里的欧元换美元。以美元做计价单位，会形成这样一张表。既然市场是自由的，那么所有想要卖出欧元买入美元，或者卖出美元买入欧元的情况人就都可以来参与报价和交易。
这张表就是表示市场上目前可以交易的欧元的数量。上边是卖家，下面是买家，信息是一目了然的，例如卖家A，希望以1.1200美元的价格卖出500欧元。买家E希望以1.1195美元的价格买入欧元。现在的这种情况实际上市场上是不存在成交的，因为没有合适的成交价格。
如果你是一个欧元的卖家，希望立刻成交的话，最好的价格只能卖到1.1195，而且可以卖出2500欧元，与买家E成交，这个是最理想的情况了。而如果你是一个欧元的买家，要立刻成交的话，最好的价格只能以1.1197美元的价格买入一个欧元，最多买200欧元。这个表就是这样一个含义了，在股票和其它期货市场中这个表的信息是完全透明的，但是在外汇散户的交易环境中是看不到这样一个表的，只能通过K线图上的成交价来看报价。
如果目前市场上购买欧元的量比较大，那么在将1.1197价格的200欧元成交后则再会以1.1198的价格成交。当1.1198的1000欧元被卖出后，再想买入欧元只能以1.1199的价格成交。只要买入的量足够大这个价格会一直上涨，你看到的EUR/USD的K线图会呈现上涨的趋势。相反则这个成交价格会不断下跌，EUR/USD的K线图会呈现下跌的趋势。从这个表中看，似乎价格更容易向上移动，因为同样是交易2000欧元的数量，买入则价格已经提升到了1.1200，卖出则一直会维持在1.1195，这种情况就是我们所说的“买盘压力”较大的情况。这里补充说两点吧。
一、这个表实际上不会这么老老实实地呆在那里，它会不断变化，因为每时每刻都有人参与到市场博弈当中。
二、外汇交易的量是非常巨大的，银行之间的交易量通常都是数以百万计，表中只是为了大家好理解模型而做了简化。