转载

股票分析（三）：谁与我生死与共

刚开始炒股的时候，心中一直有个疑问：什么是大盘？为什么大家都在看大盘而不是看自己的股票呢？大盘的涨跌和个股的走势有什么关联吗？

然后看新闻资讯的时候，也常常听到什么拉动所在板块上升之类的话。某个行业的利多利空消息是否对所有股票都适用？哪些个股比较随大流，它涨我也涨？又是哪些股总是带头冲锋，苟利国家生死以，岂因祸福避趋之？

这篇文章，尝试从数据出发，挖掘股票价格之间的关系，寻找那些生死与共的好股友们。

概念扫盲

在继续深入之前，先对一些名词有个简单的了解：

大盘：通常指上证综合指数，以上海证券交易所挂牌上市的全部股票为样本，以发行量为权数，以加权平均法计算，以1990年12月19日为基日，基日指数定为100点的股价指数。
板块：由股票组成的群体，因为有某一共同特征而被归类在一起。板块特征可能是地理上的，例如江苏板块、浦东板块；可能是业绩上的，如绩优板块；可能是上市公司经营行为方面的，如购并板块；可能行业分类方面的，如钢铁板块、科技板块、金融板块、房地产板块等。

收集数据

可以通过 tushare 下载历年的数据：

import tushare as ts
import pandas as pd

def download(code, name, index=False):
    filename = 'get_h_2000/'+code+'-'+name+str('.csv')
    if os.path.exists(filename):
        os.remove(filename)
        print '%s已存在，删除源文件' % filename
    df = ts.get_h_data(code, start='2000-01-01', end='2016-01-01', index=index)
    df = df.sort_index(ascending=True).reset_index()
    df.to_csv(filename, mode='a', index=False)

download('000001','上证指数',index=True)

有需要的朋友可以在 Gist 下载： 000001-上证指数-2000-2015.csv 。

观察数据

通过 plot 方法可以很方便的绘制上证指数这15年的走势：

股票分析（三）：谁与我生死与共

可以用 Pandas 自带的 describe() 方法观察一下目前的数据：

pd.set_option('display.float_format', lambda x: '%.02f' % x)
df.describe().transpose()

数据统计如下：

股票分析（三）：谁与我生死与共

数字看着比较抽象，我们可以通过箱线图展示统计信息：

ax = df.boxplot(column=['close','high','low','open'],return_type='axes')

箱线图展示结果如下：

股票分析（三）：谁与我生死与共

从图中可以很清晰的看到各列的最小值、第一四分位数、中位数、第三四分位数、最大值等等。

接下来再来看看每天的涨幅如何。这里用『收盘价-开盘价』来表示每天的涨跌幅，并且将涨跌幅除以开盘价，计算并绘制涨跌率：

df['price_change'] = df['close'] - df['open']
df['price_change_p'] = df['price_change'] / df['open']
fig,ax = plt.subplots(figsize=(16,6))
ax.bar(df.index,df['price_change_p'])
plt.show()

绘制结果如下：

股票分析（三）：谁与我生死与共

可以看到，08年和15年有比较大的起伏，这分别对应着07年和15年的两次牛市。

通过 hist 方法可以绘制涨跌率的频率分布直方图：

fig,ax = plt.subplots(figsize=(16,6))
ax.hist(df['price_change_p'],bins=100)
plt.show()

绘图如下：

股票分析（三）：谁与我生死与共

可以看到，大盘的涨跌率基本呈正态分布，涨的部分靠近零轴，跌的部分则略为分散。翻译成大白话大致是：涨的天数多，但是磨磨蹭蹭，幅度不大。跌的天数少，但是来势凶猛，幅度较大。

接下来看下银行板块的个股股价。通过前面的 download 函数下载好数据之后，通过 read 函数读取数据：

def read(filename):
    path = 'get_h_2000/%s.csv' % filename
    df = pd.read_csv(path)
    df['date'] = pd.to_datetime(df['date'])
    df = df.set_index('date')
    df['price_change'] = df['close'] - df['open']
    df['price_change_p'] = df['price_change'] / df['open']
    return df

然后列出所有银行股的数据名，并随机选择三个股票作为对比参照，依次读取数据：

stocks = np.array([
            '000001-平安银行','002142-宁波银行','600000-浦发银行','600015-华夏银行',
            '600016-民生银行','600036-招商银行','601009-南京银行','601166-兴业银行',
            '601169-北京银行','601288-农业银行','601328-交通银行','601398-工商银行',
            '601818-光大银行','601939-建设银行','601988-中国银行','601998-中信银行'])
dfs = {}
for name in stocks:
    dfs[name] = read(name)

stocks_o = np.array(['601233-桐昆股份','002134-天津普林','600362-江西铜业'])
dfs_o = {}
for name in stocks_o:
    dfs_o[name] = read(name)

由于各股上市时间不一致，我们只取2010年往后的数据做展示：：

temp_stocks = np.concatenate((stocks, stocks_o))
stock_count = len(temp_stocks)
f, axes = plt.subplots(stock_count, 1, sharex=True, figsize=(16,4*stock_count))
useds_axes = []
for name in temp_stocks:
    df = dfs[name] if dfs.has_key(name) else dfs_o[name]
    df = df[df.index > '2010-01-01']
    ax = axes[len(useds_axes)]
    ax.plot(df.index, df['close'], label=name)
    ax.plot(df_000001.index, df_000001['close']/(df_000001['close'][0]/df['close'][0]), label='上证指数')
    ax.set_title(name)
    ax.legend(loc='upper left')
    useds_axes.append(ax)
plt.show()

绘图结果如下：

股票分析（三）：谁与我生死与共

从图中来看，大部分银行股的起伏十分相似，而且和大盘的走势相近。不过，民生银行、浦发银行、江西铜业，这三个股票和大盘似乎有些不相关。

接下来可以从数据的角度具体分析一下它们之间的关联程度。

寻找相关

在找到相关的特征之前，我们首先要了解有哪些量化关联度的方法。比如三个比较常见度量方法：

欧式距离：两点间的直线距离，不同特征的量级差异对结果影响较大。
皮尔逊相关系数：用于度量两个变量 X 和 Y 之间的线性相关，值介于-1与1之间，对量级不敏感。
余弦相似度：计算两个向量的夹角，注重向量在方向上的差异，对量级不敏感。

在这里我选择的是皮尔逊相关系数做实验。

scipy 中自带了 pearsonr 函数，输入 X 和 Y 返回皮尔逊相关系数和 p-value 。p-value 简单来说，就是在假设原假设正确时，出现现状或更差的情况的概率。

一个小例子演示一下如何使用：

np.random.seed(0)
size = 1000
x = np.random.normal(0, 1, size)
print stats.pearsonr(x, x + np.random.normal(0, 1, size))
print stats.pearsonr(x, x + np.random.normal(0, 100, size))

运行结果是：

(0.7029971477605752, 6.8891376644515863e-150)
(-0.027349877570630021, 0.38761043588940391)

可以看到，噪音较小的那一串数列的相关性更高，p 值也更低。接下来我们尝试用皮尔逊相关系数来探索股价之间的相关性。

大盘的影响

先来看下各个银行股和大盘之间的相关性。为了有所参照，我们随机生成了一个数字序列作为参照，完整代码如下：

p_result = {}
start_time = '2010-01-01'
print '----------随机数列----------'
np.random.seed(0)
x1 = df_000001[df_000001.index > start_time]['close'].values
x0 = np.random.normal(0,100,len(x1))
r = stats.pearsonr(x1, x0)
p_result['000000-随机数列'] = r
print '000000-随机数列：{0}'.format(r)

print '----------随机个股----------'
for i in stocks_o:
    df = dfs_o[i]
    df = df[df.index > start_time]
    x = df['close'].values
    x1 = [df_000001.loc[si]['close'] for si in df.index.values]
    r = stats.pearsonr(x1, x)
    p_result[i] = r
    print '{0}：{1}'.format(i ,r)

print '----------银行板块----------'
for i in stocks:
    df = dfs[i]
    df = df[df.index > start_time]
    x = df['close'].values
    x1 = [df_000001.loc[si]['close'] for si in df.index.values]
    r = stats.pearsonr(x1, x)
    p_result[i] = r
    print '{0}：{1}'.format(i ,r)

运算结果：

----------随机数列----------
000000-随机数列：(-0.018379229354344717, 0.48345058165702948)
----------随机个股----------
601233-桐昆股份：(0.82394024147340494, 1.4846471908590122e-276)
002134-天津普林：(0.87070295523388863, 0.0)
600362-江西铜业：(0.29074317824804269, 1.1115439379128497e-29)
----------银行板块----------
000001-平安银行：(0.83230166489115542, 0.0)
002142-宁波银行：(0.95071984964658407, 0.0)
600000-浦发银行：(0.83177504090683074, 0.0)
600015-华夏银行：(0.86944980096838431, 0.0)
600016-民生银行：(0.47921539730721252, 6.7671691831972994e-84)
600036-招商银行：(0.88739800637271515, 0.0)
601009-南京银行：(0.89395777699351697, 0.0)
601166-兴业银行：(0.79369148744309614, 6.16023876965882e-313)
601169-北京银行：(0.91317333851684301, 0.0)
601288-农业银行：(0.83442809587466238, 0.0)
601328-交通银行：(0.92295526522170779, 0.0)
601398-工商银行：(0.84993313219224631, 0.0)
601818-光大银行：(0.96153251745347235, 0.0)
601939-建设银行：(0.84982759873987823, 0.0)
601988-中国银行：(0.88002650449792652, 0.0)
601998-中信银行：(0.88759530896504257, 0.0)

为了更好的展示相关性的结果，可以通过柱状图把结果绘制出来：

prs = []
pvs = []
for name in p_result.keys():
    prs.append(p_result[name][0])
    pvs.append(p_result[name][1])

fig, ax = plt.subplots(figsize=(16,5))
ind = np.arange(len(prs))
width = 0.35
rects1 = ax.bar(ind, prs, width, color='b')
rects2 = ax.bar(ind + width, pvs, width, color='r')

ax.set_ylabel('Value')
ax.set_title('股票与大盘的相关性系数')
ax.set_xticks(ind + width)
ax.set_xticklabels(p_result.keys(), rotation='vertical')

legend = ax.legend((rects1[0], rects2[0]), ('Pearson/'s', 'P-Value'), frameon=True, shadow=True)
plt.show()

绘制结果如下：

股票分析（三）：谁与我生死与共

可以看到，随机数列的相关性明显很低，另外相关性比较差的还有民生银行、江西铜业、浦发银行、桐昆股份、平安银行。这个和之前的肉眼观测结果是相同的。

不过，光看价格的相关性并不是很准确，因为不同股票的价位不同，相关性的计算结果可能也会受到影响。其实我们应该关注的是股价涨跌幅的相关性。调整一下代码：

temp_stocks = np.concatenate((stocks, stocks_o))
stock_count = len(temp_stocks)
f, axes = plt.subplots(stock_count, 1, sharex=True, figsize=(16,4*stock_count))
useds_axes = []
for name in temp_stocks:
    df = dfs[name] if dfs.has_key(name) else dfs_o[name]
    start_time = '2015-10-01'
    df = df[df.index > start_time]
    df0 = df_000001[df_000001.index > start_time]
    ax = axes[len(useds_axes)]
    ax.bar(df.index, df['price_change_p'], label=name, alpha=0.5, color='r')
    ax.bar(df0.index, df0['price_change_p'], label='上证指数', alpha=0.5, color='g')
    ax.set_title(name)
    ax.legend(loc='upper left')
    useds_axes.append(ax)
plt.show()

为了方便展示，只取了2015年最后三个月的数据，展示如下：

股票分析（三）：谁与我生死与共

红色超出绿色的部分为个股超出大盘的涨跌幅，绿色超出的部分为大盘超出个股的涨跌幅。从图表来看，相关性不是很明显。

用代码计算一下相关性：

p_result = {}
start_time = '2010-01-01'
print '----------随机数列----------'
np.random.seed(0)
x1 = df_000001[df_000001.index > start_time]['price_change_p'].values
x0 = np.random.normal(-1,1,len(x1))
r = stats.pearsonr(x1, x0)
p_result['000000-随机数列'] = r
print '000000-随机数列：{0}'.format(r)

print '----------随机个股----------'
for i in stocks_o:
    df = dfs_o[i]
    df = df[df.index > start_time]
    x = df['price_change_p'].values
    x1 = [df_000001.loc[si]['price_change_p'] for si in df.index.values]
    r = stats.pearsonr(x1, x)
    p_result[i] = r
    print '{0}：{1}'.format(i ,r)

print '----------银行板块----------'
for i in stocks:
    df = dfs[i]
    df = df[df.index > start_time]
    x = df['price_change_p'].values
    x1 = [df_000001.loc[si]['price_change_p'] for si in df.index.values]
    r = stats.pearsonr(x1, x)
    p_result[i] = r
    print '{0}：{1}'.format(i ,r)

计算结果如下：

----------随机数列----------
000000-随机数列：(-0.01170938101429754, 0.65528444998797009)
----------随机个股----------
601233-桐昆股份：(0.5926213844273559, 1.3768416303873001e-106)
002134-天津普林：(0.55037020105007528, 1.9031317037476984e-115)
600362-江西铜业：(0.76021449109055472, 7.0259968513985565e-274)
----------银行板块----------
000001-平安银行：(0.7051512083759307, 6.6891609215087728e-209)
002142-宁波银行：(0.72612012412782501, 2.4079706518655618e-237)
600000-浦发银行：(0.7167360945341158, 3.4557547788647287e-225)
600015-华夏银行：(0.69668869104482156, 4.1601778321466699e-209)
600016-民生银行：(0.62750442079223367, 3.9126027918308307e-159)
600036-招商银行：(0.67017991271658717, 1.208446093582849e-187)
601009-南京银行：(0.70304459154675281, 5.5004160013777059e-215)
601166-兴业银行：(0.72086996034908235, 2.2042255646943599e-231)
601169-北京银行：(0.70007100804010169, 1.8158330878777684e-208)
601288-农业银行：(0.63124751196123652, 4.2460567821792627e-148)
601328-交通银行：(0.67157367944285129, 7.08859346030525e-190)
601398-工商银行：(0.59367541046236361, 3.7205953256769839e-138)
601818-光大银行：(0.66338500488771768, 6.6439318291648056e-164)
601939-建设银行：(0.64247755967824627, 6.6203452504774864e-169)
601988-中国银行：(0.60765522028795782, 2.1780341191010662e-146)
601998-中信银行：(0.62940968812629339, 1.688815329830977e-159)

涨跌幅的相关性明显不如价格的相关性。绘制图表如下：

股票分析（三）：谁与我生死与共

最高的不到0.8，最低0.5，江西铜业反而成了相关性最高的股了，感觉难以置信。不妨计算一下股票和大盘的涨跌一致的比例：

start_time = '2010-01-01'
def count_p(name):
    if name == '000000-随机数列':
        return 0
    df = dfs[name] if  dfs.has_key(name) else dfs_o[name]
    df = df[df.index > start_time]
    df.loc[:, 'A'] = pd.Series([df_000001.loc[si]['price_change_p'] for si in df.index.values], index=df.index)
    df.loc[:, 'same_change_p'] = (df['price_change_p'] * df['A']) > 0
    vc = df['same_change_p'].value_counts()
    return vc[True] * 1.0 / (vc[False] + vc[True])

result = map(count_p, p_result.keys())