在本教程中，您将了解如何使用称为长短期记忆的时间序列模型。 LSTM 模型非常强大，特别是在设计上保留长期记忆，正如您稍后将看到的。您将在本教程中解决以下主题：

了解为什么您需要能够预测股价走势；下载数据——您将使用从 Alphavantage/Kaggle 收集的股票市场数据；分割训练测试数据并执行一些数据标准化；激发并简要讨论 LSTM 模型，因为它可以提前预测不止一步；利用当前数据预测和可视化未来股市

注意：但在我们开始之前，我并不是主张 LSTM 作为一种高度可靠的模型，可以完美地利用股票数据中的模式，或者可以在没有任何人参与的情况下盲目使用。我这样做是为了纯粹的机器学习兴趣，作为一个实验。在我看来，该模型观察到了数据中的某些模式，从而使其能够在大多数情况下正确预测股票走势。但这个模型是否可以用于实际目的取决于您。

为什么需要时间序列模型？

您希望正确地对股票价格进行建模，以便作为股票购买者，您可以合理地决定何时购买股票以及何时出售股票以赚取利润。这就是时间序列建模的用武之地。您需要良好的机器学习模型，该模型可以查看数据序列的历史记录并正确预测序列的未来元素。

警告：股票市场价格高度不可预测且不稳定。这意味着数据中不存在一致的模式，无法让您近乎完美地对一段时间内的股票价格进行建模。不要从我这里听，而是从普林斯顿大学经济学家 Burton Malkiel 那里听，他在 1973 年的书中指出，“随机漫步华尔街”如果市场确实有效，并且股价一公开就立即反映了所有因素，那么一只蒙着眼睛的猴子向报纸上的股票投掷飞镖应该和任何投资专业人士一样好。

然而，我们不要完全相信这只是一个随机或随意的过程，并且机器学习没有希望。让我们看看您是否至少可以对数据进行建模，以便您所做的预测与数据的实际行为相关联。换句话说，您不需要未来的确切股票价值，而是股票价格走势（即，在不久的将来是否会上涨或下跌）。

<code># Make sure that you have all these libaries available to run the code successfully

from pandas_datareader import data

import matplotlib.pyplot as plt

import pandas as pd

import datetime as dt

import urllib.request, json

import os

import numpy as np

import tensorflow as tf # This code has been tested with TensorFlow 1.6

from sklearn.preprocessing import MinMaxScaler

下载数据

您将使用以下来源的数据：

阿尔法优势。不过，在开始之前，您首先需要一个 API 密钥，您可以在此处免费获取该密钥。之后，您可以将该键分配给api_key变量。使用此页面中的数据。您需要将zip 文件中的Stocks文件夹复制到项目主文件夹中。

股票价格有几种不同的表现。他们是，

开盘价：当日股票开盘价收盘价：当日收盘价High：数据中最高的股价最低价：当日最低股价

从 Alphavantage 获取数据

您将首先从 Alpha Vantage 加载数据。由于您将利用美国航空股票市场价格进行预测，因此您将股票代码设置为"AAL"。此外，您还定义了一个url_string，它将返回一个 JSON 文件，其中包含过去 20 年内美国航空的所有股票市场数据，以及一个file_to_save，它将是您保存数据的文件。您将使用ticker之前定义的变量来帮助命名该文件。

接下来，您将指定一个条件：如果您尚未保存数据，您将继续从您在 中设置的 URL 中获取数据url_string；您将把日期、最低价、最高价、交易量、收盘价、开盘价存储到 pandas DataFrame 中，df并将其保存到file_to_save.但是，如果数据已经存在，您只需从 CSV 加载即可。

从 Kaggle 获取数据

Kaggle 上找到的数据是 csv 文件的集合，您无需进行任何预处理，因此可以直接将数据加载到 Pandas DataFrame 中。确保将数据下载到项目主目录中。因此Stocks文件夹应该位于项目主目录中。

数据探索

在这里，您将把收集的数据打印到 DataFrame 中。您还应该确保数据按日期排序，因为数据的顺序在时间序列建模中至关重要。

# Sort DataFrame by date

df = df.sort_values('Date')

# Double check the result

df.head()

数据可视化

现在让我们看看您拥有什么类型的数据。您希望数据随着时间的推移而出现各种模式。

plt.figure(figsize = (18,9))

plt.plot(range(df.shape[0]),(df['Low']+df['High'])/2.0)

plt.xticks(range(0,df.shape[0],500),df['Date'].loc[::500],rotation=45)

plt.xlabel('Date',fontsize=18)

plt.ylabel('Mid Price',fontsize=18)

plt.show()

这张图已经说明了很多事情。我选择这家公司而不是其他公司的具体原因是，随着时间的推移，这张图表充满了股票价格的不同行为。这将使学习更加稳健，并为您提供一个改变来测试各种情况下的预测效果如何。

另一件值得注意的事情是，接近 2017 年的值比接近 1970 年代的值要高得多，波动也更大。因此，您需要确保数据在整个时间范围内表现在相似的值范围内。您将在数据标准化阶段处理这个问题。

将数据拆分为训练集和测试集

您将使用通过一天的最高记录价格和最低记录价格的平均值计算出的中间价格。

<code># First calculate the mid prices from the highest and lowest

high_prices = df.loc[:,'High'].as_matrix()

low_prices = df.loc[:,'Low'].as_matrix()

mid_prices = (high_prices+low_prices)/2.0

现在您可以拆分训练数据和测试数据。训练数据将是时间序列的前 11,000 个数据点，其余数据将是测试数据。

现在您需要定义一个缩放器来标准化数据。MinMaxScalar将所有数据缩放到 0 和 1 的区域内。您还可以将训练和测试数据重塑为形状[data_size, num_features]。

# Scale the data to be between 0 and 1

# When scaling remember! You normalize both test and train data with respect to training data

# Because you are not supposed to have access to test data

scaler = MinMaxScaler()

train_data = train_data.reshape(-1,1)

test_data = test_data.reshape(-1,1)

由于您之前进行的观察，即不同时间段的数据具有不同的值范围，因此您通过将整个系列拆分为窗口来对数据进行归一化。如果不这样做，早期的数据将接近于 0，并且不会为学习过程增加太多价值。这里您选择窗口大小 2500。

提示：选择窗口大小时，请确保它不要太小，因为当您执行窗口归一化时，它可能会在每个窗口的最后引入一个中断，因为每个窗口都是独立归一化的。

在此示例中，4 个数据点将受此影响。但考虑到您有 11,000 个数据点，4 个点不会造成任何问题

# Train the Scaler with training data and smooth data

smoothing_window_size = 2500

for di in range(0,10000,smoothing_window_size):

scaler.fit(train_data[di:di+smoothing_window_size,:])

train_data[di:di+smoothing_window_size,:] = scaler.transform(train_data[di:di+smoothing_window_size,:])

# You normalize the last bit of remaining data

scaler.fit(train_data[di+smoothing_window_size:,:])

train_data[di+smoothing_window_size:,:] = scaler.transform(train_data[di+smoothing_window_size:,:])

将数据重塑回形状[data_size]

# Reshape both train and test data

train_data = train_data.reshape(-1)

# Normalize test data

test_data = scaler.transform(test_data).reshape(-1)

您现在可以使用指数移动平均线来平滑数据。这可以帮助您摆脱股票价格数据固有的不规则性并产生更平滑的曲线。

注意：我们仅使用训练数据来训练 MinMaxScaler，通过将 MinMaxScaler 拟合到测试数据来标准化测试数据是错误的

请注意，您应该只平滑训练数据。

# Now perform exponential moving average smoothing

# So the data will have a smoother curve than the original ragged data

EMA = 0.0

gamma = 0.1

for ti in range(11000):

EMA = gamma*train_data[ti] + (1-gamma)*EMA

train_data[ti] = EMA

# Used for visualization and test purposes

all_mid_data = np.concatenate([train_data,test_data],axis=0)

评估结果

我们将使用均方误差来计算我们的模型有多好。均方误差 (MSE) 可以通过向前一步的真实值与预测值之间的平方误差计算，并对所有预测进行平均。

平均作为股票价格建模技术

在最初的教程中，我讨论了对于此类问题来说，平均是如何具有欺骗性和糟糕的。结论是，

平均可以很好地预测提前一步（这对于股票市场预测不是很有用），但对未来的预测却不太有效。您可以在原始教程中找到更多详细信息。

LSTM 简介：预测未来的股票走势

长短期记忆模型是极其强大的时间序列模型。他们可以预测未来的任意数量的步骤。 LSTM 模块（或单元）具有 5 个基本组件，使其能够对长期和短期数据进行建模。

单元状态 (c_t) — 这表示单元的内部存储器，存储短期记忆和长期记忆隐藏状态 (h_t) — 这是根据当前输入、先前隐藏状态和当前单元输入计算的输出状态信息，最终用于预测未来的股票市场价格。此外，隐藏状态可以决定仅检索存储在单元状态中的短期或长期或两种类型的记忆来进行下一个预测。输入门 (i_t) — 决定当前输入有多少信息流向单元状态遗忘门 (f_t) — 决定当前输入和先前单元状态中的多少信息流入当前单元状态输出门 (o_t) — 决定有多少信息从当前单元状态流入隐藏状态，以便在需要时 LSTM 只能选择长期记忆或短期记忆和长期记忆

下图是一个单元格。

计算每个实体的方程式如下。

i _t = σ (W {ix} * x _t + W {ih} * h_{t-1}+b_i)\tilde{c} _t = σ (W {cx} * x _t + W {ch} * h_{t-1} + b_c)f _t = σ (W {fx} * x t + W {fh} * h_{t-1}+b_f)c_t = f _t * c {t-1} + i_t * \tilde{c}_to _t = σ (W {ox} * x t + W {oh} * h_{t-1}+b_o)h_t = o_t * tanh(c_t)

为了更好（更技术性）地理解 LSTM，您可以参考这篇文章。

数据生成器

下面您将说明如何直观地创建一批数据。基本思想是我们将数据序列分为N/b段，使得每个段的大小为b。然后我们定义游标，每个段1个。然后，为了对一批数据进行采样，我们得到一个输入（当前段光标索引）和一个真实预测（在 [当前段光标 + 1，当前段光标 + 5] 之间随机采样一个）。请注意，我们并不总是获得输入旁边的值作为其预测。这是为了减少过度拟合而采取的步骤。在每次采样结束时，我们将光标增加 1。您可以在原始教程中找到有关数据生成的更多信息。

定义超参数

在本部分中，您将定义几个超参数。<code>D是输入的维数。这很简单，因为您将前一个股票价格作为输入并预测下一个股票价格，应该是1。

那么num_unrollings， 表示您为单个优化步骤考虑的连续时间步骤数。越大越好。

然后你就拥有了batch_size.批量大小是您在单个时间步中考虑的数据样本数量。越大越好，因为在给定时间您拥有的数据的可见性更高。

接下来，您定义num_nodes代表每个单元中隐藏神经元的数量。您可以看到此示例中有三层 LSTM。

D = 1 # Dimensionality of the data. Since your data is 1-D this would be 1

num_unrollings = 50 # Number of time steps you look into the future.

batch_size = 500 # Number of samples in a batch

num_nodes = [200,200,150] # Number of hidden nodes in each layer of the deep LSTM stack we're using

n_layers = len(num_nodes) # number of layers

dropout = 0.2 # dropout amount

tf.reset_default_graph() # This is important in case you run this multiple times

定义输入和输出

接下来，您定义训练输入和标签的占位符。这非常简单，因为您有一个输入占位符列表，其中每个占位符都包含一批数据。该列表具有num_unrollings占位符，将立即用于单个优化步骤。

# Input data.

train_inputs, train_outputs = [],[]

# You unroll the input over time defining placeholders for each time step

for ui in range(num_unrollings):

train_inputs.append(tf.placeholder(tf.float32, shape=[batch_size,D],name='train_inputs_%d'%ui))code>

train_outputs.append(tf.placeholder(tf.float32, shape=[batch_size,1], name = 'train_outputs_%d'%ui))

定义 LSTM 和回归层的参数