最近逛某乎，碰到了这个问题：如何看待量化交易WorldQuant世坤大赛北大牛人提交了6万+因子？

我的第一直觉，这肯定不是纯手工挖出来的，6w个因子，一天挖一个，节假日都不休息的话，需要164年，一个小时挖一个的话，也需要7年，一分钟一个，需要42天。

这明显不是一个纯人工手工的速度，麒麟臂也不行，肯定是有机器参与了，除非这个北大学子也是个少爷，雇了100来人，每个人搞来几百个因子就行了。

如果可以用机器，只注重因子数量的话，短时间内挖6w+因子也不是什么难事，量化小白也可以做到，本来这方法是我之前给PM支招对付恶毒私募那种3周要挖4000因子的要求，核心代码只有4行，虽然因子质量不一定能保证，但因子数量绝对是足斤足两的，我刚才试了一下，挖6w+因子，一共花了不到3个小时。

不藏着掖着，这个牛掰的量化因子自动挖掘神器就是tsfresh，只要你基础因子和电脑配置足够，真的是想挖多少就挖多少。

tsfresh实际上是一个python库，在电脑终端使用“pip install tsfresh”就可以自动安装，它最主要的功能就是能对证券价格这类型的时间序列数据自动挖掘其中的特征，并且还可以对有效特征进行筛选，详细说明请见官网：https://tsfresh.com/。

特征（feature）一般是在人工智能/机器学习/深度学习领域的叫法，在量化交易/量化投资领域一般叫因子（factor），例如相对强弱指标RSI在机器学习领域就叫RSI特征，在量化选股领域就叫RSI因子，其实都是一样的东西，大伙儿注意分辨语境就好了。

废话不多说，咱可以先来快速体验一下挖6w+因子，详细原理下文再细说，在成功安装tsfresh库后，只需要以下4行核心代码（第5~8行），便可以将原有的84个基础因子，扩展到65772个因子，耗时9730秒，约2.7小时。

<code>import datetime

start_time = datetime.datetime.now() #开始时间

# 核心代码部分

from tsfresh import extract_features

from tsfresh.utilities.dataframe_functions import roll_time_series

data_roll = roll_time_series(data, column_id='code', column_sort='date', max_timeshift=20, min_timeshift=5).drop(columns=['code'])

data_feat = extract_features(data_roll, column_id='id', column_sort='date') code>

end_time = datetime.datetime.now() #结束时间

print('开始时间：', start_time.strftime('%Y-%m-%d %H:%M:%S'))

print('结束时间：', end_time.strftime('%Y-%m-%d %H:%M:%S'))

print('耗时：%d 秒' %(end_time-start_time).seconds)

print('原始数据维度：', data.shape)

print('特征提取后维度：', data_feat.shape)

输出结果：

开始时间： 2024-07-30 23:10:01

结束时间： 2024-07-31 01:52:11

耗时：9730 秒

原始数据维度： (4651, 86)

特征提取后维度： (4646, 65772)

补充说明一下，其中输入数据data是预先生成的数据（下文会说明获取方式），第1列是日期(date)，第2列是证券代码(code)，之后的84列都是因子列；特征提取之后行数少了5行，是因为设置了前面至少要有5行数据才开始提取当日特征；耗时大小跟电脑配置有关，本次试验所用的电脑处理器是第12代i7(主频2.10 GHz)，电脑内存大小是32G。

咱不能是为了提取因子而提取因子，必定是用来做些什么的吧，那咱就可以沿着之前机器学习指数量化择时的策略思路，构建一个因子增强版的策略，整体策略思路详见之前的文章《手把手教你，利用机器学习模型，构建量化择时策略》。

整个建模流程分为收集数据、准备数据、选择/建立模型、训练模型、测试模型和调节参数这6大步骤，这次咱主要是利用tsfresh库生成更多的有效因子进行建模，因此只需改变收集数据和准备数据这2个步骤，后面4个步骤与之前的文章基本一致，无须大变。

由于一次性同时挖掘6w+因子耗时就不说了，还非常吃内存，我自己这台32G内存的老机子都差点儿扛不下来，因此为了照顾到更多的小伙伴能跑通程序，建模的时候使用的是8k+因子，但同时也会说明如何升级到6w+因子。

Step1：收集数据

<code>import qstock as qs

# 获取沪深300指数高开低收、成交量、成交金额、换手率数据，index是日期

data = qs.get_data(code_list=['HS300'], start='20050408', end='20240730', freq='d')code>

# 删除名称列、排序并去除空值

data = data.drop(columns=['name']).sort_index().fillna(method='ffill').dropna()code>

# 插入日期列

data.insert(0, 'date', data.index)

# 将日期从datetime格式转换为str格式

data['date'] = data['date'].apply(lambda x: x.strftime('%Y-%m-%d'))

data = data.reset_index(drop=True)

print(data.shape)

data.tail(10)

这里使用qstock获取数据只是举例，大家使用相同功能的库或API都可以，要注意的是不要带名称列，而且日期列是str格式，不是datetime格式。

Step2：准备数据（本期重点）

<code>gg = data_roll.groupby('id').agg({'date':['count', min, max]})

print(gg.shape)

gg.head(20)

看到这里就应该明白了，数据长度在min_timeshift+1 ~ max_timeshift+1之间时，有多少数据用多少数据，当超出这个范围后，就每个交易日滚动(roll)使用max_timeshift+1个数据点的序列数据，因此原始因子数量不变，但行数被扩展为9万多行，因为部分数据被重复滚动使用。

在data_roll之上，就可以使用tsfresh的extract_features函数在基础因子之上衍生出众多因子，这一步较为耗时，不同电脑配置执行时间不一样，须耐心等待。

<code>from tsfresh import extract_features

data_feat = extract_features(data_roll, column_id='id', column_sort='date')code>

# 对单独标的而言，将日期作为index

data_feat.index = [v[1] for v in data_feat.index]

print(data_feat.shape)

输出结果：

Feature Extraction: 100%|██████████████████████████████████████████████████████████████| 50/50 [14:50<00:00, 17.81s/it]

(4656, 8613)

从结果中看出，最终得到了4656x8613的因子矩阵，4656对应着交易日数，8613对应着在11个基础因子之上衍生出来的因子数。

因子生成的原理是，tsfresh预置了783个算子(calculator)，会逐个用在每一个交易日的基础因子数值序列上，这就相当于孙悟空拔一根猴毛下来，能变出783个形态各异的化身，相同计算公式不同单参数也算1个，11乘以783就是8613，具体的算子计算公式请见官方文档：

https://tsfresh.readthedocs.io/en/latest/text/list_of_features.html

看到这里，挖出6w+因子的原理就很明显了，60000 / 783 ≈ 77，只需要有77个基础因子，就能衍生出6w个因子，只需要将之前生成11个基础因子的部分，替换为以下代码，就可以生成84个基础因子，能衍生出65772个因子，开头2.7小时挖6w+因子的试验就是用这个方法。

<code>import talib

for period in range(5,15):

# 收盘价的斜率

data[f'slope{period}'] = talib.LINEARREG_SLOPE(data['close'].values, timeperiod=period)

# 相对强弱指标

data[f'rsi{period}'] = talib.RSI(data['close'].values, timeperiod=period)

# 威廉指标值

data[f'wr{period}'] = talib.WILLR(data['high'].values, data['low'].values, data['close'].values, timeperiod=period)

# 均幅指标

data[f'atr{period}'] = talib.ATR(data['high'].values, data['low'].values, data['close'].values, timeperiod=period)

# 平均趋向指标

data[f'adx{period}'] = talib.ADX(data['high'].values, data['low'].values, data['close'].values, timeperiod=period)

for fperiod,speriod,mperiod in zip(range(8,18),range(22,32),range(5,15)):

# MACD中的DIF、DEA和MACD柱

data[f'dif{fperiod}'], data[f'dea{fperiod}'], data[f'macd{fperiod}'] = talib.MACD(data['close'].values, fastperiod=fperiod, slowperiod=speriod, signalperiod=mperiod)

# 删除开盘价、最高价和最低价

data = data.drop(columns=['open','high','low']).fillna(method='ffill').dropna().reset_index(drop=True)code>

print(data.shape)

data.tail(10)

大致的原理是，使用价格斜率（slope）、相对强弱指标（rsi）、威廉指标值（wr）、均幅指标（atr）、平均趋向指标（adx）、MACD快线（dif）、MACD慢线（dea）和MACD柱（macd）这8个指标，每个指标都分别使用10个不同的参数，那就是80个不同的因子，再加上之前的收盘价、成交量、成交金额和换手率，一共是84个因子。这是一种偷懒的写法，大伙儿别学我，根据自己的实际需要加入基础因子哈

说回正题，这8613维里面都是衍生出来的因子，是不包含原始的基础因子的，记得也把基础因子添加回去。跟以前的做法一样，也要给每个交易日的数据打上标签，每个样本标签对应的是第二个交易日的涨跌情况，计算出每个样本第二天的涨幅（pct），如果第二天上涨，则设置标签（rise）为1，反之为0。

import pandas as pd

# 将原始因子加入因子矩阵当中

data_feat = pd.merge(data_feat, data.set_index('date', drop=True).drop(columns=['code']),

how='left', left_index=True, right_index=True)code>

# 给数据打标签

data_feat['pct'] = data_feat['close'].shift(-1) / data_feat['close'] - 1.0

data_feat['rise'] = data_feat['pct'].apply(lambda x: 1 if x>0 else 0)

data_feat = data_feat.dropna(subset=['pct'])

print(data_feat.shape)

Step3：选择/建立模型