数据库交易回测系列一：技术信号回测

本系列文章将会介绍如何使用DolphinDB进行交易回测。本文以移动平均线指标为例，介绍如何在DolphinDB中实现技术信号回测。移动平均线指标（Moving average，简称MA）属于趋势指标。在金融分析领域，移动平均线是不可缺乏的指标工具。除了指示趋势，均线指标还能避免因为股价下跌错失清仓的机会，减小收益的损失，及时止损，也能避免股价上涨错失买入的实际，从而得到更高的收益。

回测过程当中，咱们考虑两种状况：不止损回测和止损回测。

数据表须要包含如下字段：

股票代码：sym

日期：date

收盘价格：close

1. 定义MA信号

当短时间均线大于长期均线时，咱们认为这是一个MA交易信号。

def maSignal(x, shortHorizon, longHorizon){
	signal = mavg(x, shortHorizon) > mavg(x, longHorizon)
	signal[0:min(x.size(), longHorizon - 1)] = NULL
	return signal
}

2. 不止损回测

咱们定义的交易算法以下：

假设前一天的MA信号为prevSignal，当天的MA信号为signal。

（1）若是prevSignal=false，signal=true，那么买入多头头寸（long position）。

（2）若是prevSignal=true，signal=false，那么卖出空头头寸（short position）。

（3）若是不符合以上两种状况，则保持与前一天相同的头寸。

def backtest(t){
	t2 = select sym,date,close,prev(close) as prevClose,signal, prev(signal) as prevSignal from t context by sym
	update t2 set position=iif(prevSignal==false and signal==true, 1 ,iif(prevSignal==true and signal==false, -1, int())).prev().ffill() context by sym
	return select sym,date,close,signal,position,position*(close - prevClose) as pnl from t2 where isValid(position)
}

DolphinDB函数说明：

iif(condition, trueResult, falseResult)：若是知足条件condition，则返回trueResult，不然返回falseResult。它至关于if...else语句，可是语法上更加简洁。

int()：返回int类型的NULL值。

prev(x)：把向量中的全部元素向右移动一个位置。

ffill(x)：使用NULL值前的非NULL元素填充向量中的NULL值。

isValid()：检查每一个元素是否为NULL。若是为NULL，返回0，不然返回1。

backtest 函数说明：

回测时首先整理数据，使用prev()函数把前一天的收盘价格prevClose和前一天的MA信号prevSignal与当天的数据对齐，便于计算。

接着，按照咱们定义的交易算法，计算每一个股票的头寸position。position=1表示买入，position=-1表示卖出，position=NULL表示保持不变。

最后，使用position*(close - prevClose)计算盈亏pnl。

3. 止损回测

3.1 判断止损点

首先，定义函数stoploss判断是否须要止损。该函数返回布尔类型的向量。

def stoploss(ret, threshold){
	cumret = cumprod(1+ret)
	drawDown = 1 - cumret / cumret.cummax()
	firstCutIndex = at(drawDown >= threshold).first() + 1
	indicator = take(false, ret.size())
	if(isValid(firstCutIndex) and firstCutIndex < ret.size())
		indicator[firstCutIndex:] = true
	return indicator
}

DolphinDB内置函数说明：

cumprod：计算累计乘积。

cummax：计算累计最大值。

at(x)：x是布尔表达式，找出符合条件x的元素的位置。

first：返回第一个元素。

take(X, k)：返回包含k个x的向量。

stoploss 函数说明：

首先计算累计回报率cumret，接着计算当前回报率和累计最大回报率的回撤drawdown，当回撤drawdown大于等于预设阈值threshold时，则认为应当止损，并记录止损的起始位置firstCutIndex（因为到股市收盘时才知道是否须要止损或止盈，因此firstCutIndex要加1）。止损信号indicator的全部元素一开始设定为全是false。若是止损的起始位置firstCutIndex不为NULL，且不超过当前的数据量，则把止损信号indicator中从firstCutIndex开始到最后的全部元素设为true，表示从firstCutIndex开始，都应当止损。

3.2 止损回测

回测时，将止损先后的盈亏进行对比 。

def backtest_stoploss(t, thresholdDrawDown){
	t2 = select sym,date,close,prev(close) as prevClose,signal, prev(signal) as prevSignal from t context by sym
	update t2 set position=iif(prevSignal==false and signal==true, 1 ,iif(prevSignal==true and signal==false, -1, int())).prev().ffill() context by sym
	update t2 set pnl = position*(close - prevClose), ret = (close - prevClose)/prevClose
	update t2 set stoplossInd = segmentby(stoploss{,thresholdDrawDown}, ret, position) context by sym
	return select sym,date,close,signal,position,stoplossInd,pnl * stoplossInd as pnl, pnl as nostoplossPnl from t2 where isValid(position)
}

DolphinDB函数说明：

segmentby(func, funcArgs, segment)：把funcArgs分红多个组，并把函数func应用到每一个组中。segment是一个向量，能够把它看做是分组方案，连续相同的元素为一组。经过下面的例子咱们能够更好地理解segmentby：

x=1 2 3 0 3 2 1 4 5
y=1 1 1 -1 -1 -1 1 1 1
segmentby(cumsum,x,y)

1 3 6 0 3 5 1 5 10

上面的例子中，y定义了3个分组：1 1 一、-1 -1 -1 和1 1 1，第一个分组的index是0-2，第二个分组的index是3-5，第三个分组的index是6-9。按照这个规则把x分红3组：1 2 三、0 3 二、1 4 5，并在每一个分组中计算累计和。

stoploss{, thresholdDrawDown}这种表达方式是定义一个部分应用，用于固定stoploss的第二个参数thresholdDrawDown。

backtest_stoploss 函数说明：

前三行代码和1.2大体相同，除了计算盈亏pnl以外，还计算了回报率ret，由于stoploss函数须要ret做为输入。接着把每一个股票的回报率ret按阶段分组（position中的元素连续多个1表示持续买入，连续多个-1表示持续卖出，连续多个NULL表示持续不变），在每一个阶段分组中判断是否须要止损，为每只股票生成止损信号stoplossInd。最后计算止损先后的盈亏，止损前的盈亏为nostoplossPnl，止损后的盈亏为pnl。

4. 统计信息

一般状况下，咱们还须要分析盈亏的统计信息。经过下面的自定义函数calcPerformance能够计算盈亏的统计信息，好比累计盈亏cumpnl、平均盈亏avgpnl、盈亏天数days、盈亏的标准差std、最大回撤maxDrawdown等。返回的数据类型是字典。

def calcPerformance(pnl){
	result = dict(STRING, DOUBLE)
	result[`cumpnl]= pnl.sum()
	result[`avgpnl]= pnl.avg()
	result[`days] = pnl.size()
	result[`std]= pnl.std()
	result[`maxDrawdown] = (pnl.cumsum().cummax() - pnl.cumsum()).max()
	return result
}

5. 运行实例

咱们使用美国股市从1998年到2016年股票的每日交易信息做为数据集来进行测试。数据集共包含3474万条记录。

//数据导入和数据处理，产生stock数据表，包含sym, date, close三个字段
...

//计算每一个股票天天的MA信号
t = select sym,date,close,maSignal(close, 50, 100) as signal from stock context by sym

状况一：不止损回测

//不止损回测
positions = backtest(t)

//计算盈亏并绘制盈亏走势图
dailyPnl = select sum(pnl) as pnl from positions group by date order by date
calcPerformance(dailyPnl.pnl)
plot(dailyPnl.pnl.cumsum() as cumulativePnl, dailyPnl.date, "Cumulative Pnl of All Stocks without Stop Loss Control")

//分析每只股票的盈亏信息
select calcPerformance(pnl) as `cumpnl`avgpnl`days`std`maxDrawdown from result group by sym

sym	cumpnl	avgpnl	days	std	maxDrawdown
A	48.75	0.0108	4,513.	1.5895	106.55
AA	7.9625	0.0017	4,624.	1.131	119.75
...

不止损回测全部股票的盈亏走势图

状况二：止损回测。咱们把预设阈值设为2.5%。

 //止损回测
positions = backtst_stoploss(t,0.025)

//计算盈亏并绘制盈亏走势图
dailyPnl = select sum(pnl) as pnl from positions group by date order by date
calcPerformance(dailyPnl.pnl)
plot(dailyPnl.pnl.cumsum() as cumulativePnl, dailyPnl.date, "Cumulative Pnl of All Stocks with Stop Loss Control")

//分析每只股票的盈亏信息
select calcPerformance(pnl) as `cumpnl`avgpnl`days`std`maxDrawdown from result group by sym

sym	cumpnl	avgpnl	days	std	maxDrawdown
A	58.2775	0.0129	4,513.	1.5731	102.125
AA	20.47	0.0044	4,624.	1.1126	110.8125
...

止损回测全部股票的盈亏走势图

DolphinDB database 虽然是一个通用的分布式时序数据库，但由于内置极其高效的多范式编程语言，开发效率很是高。若是回测不用考虑止损，仅用了3行代码计算MA信号，3行代码进行回测。DolphinDB的运行效率更是惊人，对美国股市18年的所有股票按日进行回测，不止损回测执行耗时仅4秒多，止损回测仅7秒多。

本文的目的是从技术上帮助金融工程师使用DolphinDB快速实现交易回测。文中采用的各类参数，譬如长短线时间，止损阈值，数据过滤的方法等等，只是起到演示的做用，并不是实践中的最佳参数。

欢迎访问官网下载DolphinDB试用版