基于强化学习的期权量化交易回测系统5

Posted 最老程序员闫涛

tags:

篇首语:本文由小常识网(cha138.com)小编为大家整理,主要介绍了基于强化学习的期权量化交易回测系统5相关的知识,希望对你有一定的参考价值。

我们现在已经可以在主循环中获取行情数据,并且传给了Agent类。接下来Agent类会调用策略类,由于决定采取的行动。在策略类做决策时,需要参考用户仓位Position信息,还有就是权利金、保证金、手续费等计算,在本篇博文中将对这些内容进行介绍。

交易费用计算

在进行期权交易时,多头买入认购和认沽期权时,需要向卖出方支付权利金,而为了保证卖方可以履约,要向卖方收取保证金。同时,券商还会收取手续费和税费,手续费和税费可能单边收取也可能双边收取,情况比较复杂。因此我们采用Commission类来进行管理。
我们首先来定义费用类和权利金的计算方法:

class Commission(object):
    def __init__(self):
        self.refl = 'apps.sop.exchange.Commission'

    def calculate_royalty(self, price, quant):
        '''
        计算期权交易的权利金,权利金直接由买方转给卖方
        参数:
            price 合约价格
            quant 多少手,1手为10000份
        '''
        return price * quant * SopConfig.contract_unit

# 单元测试用例类定义
class TCommission(unittest.TestCase):
    @classmethod
    def setUp(cls):
        pass

    @classmethod
    def tearDown(cls):
        pass

    def test_calculate_royalty(self):
        cmn = Commission()
        royalty = cmn.calculate_royalty(0.1, 28)
        self.assertTrue(abs(royalty - 28000))
        
# 运行方法
python -m unittest uts.apps.sop.exchange.t_commission.TCommission.test_calculate_royalty -v

接下来我们来计算卖家需要预缴的保证金。根据我国证券市场的规定,认购期权和认沽期权卖方需要支付不同的保证金。下面分别对认购期权和认沽期权,以单位交易的保证金为例进行介绍。
当为认购期权时,按照以下值的较大者为准收取:
公式1:
v 1 = p × u + p a s s e t × u × r − ( p a s s e t − e ) × u v_1 = p \\times u + p_asset \\times u \\times r - (p_asset - e) \\times u v1=p×u+passet×u×r(passete)×u
其中:

  • v1:金额1;
  • p:期权价格;
  • p a s s e t p_asset passet 标的价格
  • u:交易单位手,1手等于10000个期权;
  • r:调整率,当前市场的值为5%;
  • e:行权价格;

公式2:
v 2 = p × u + p a s s e t × u × r v_2 = p \\times u + p_asset \\times u \\times r v2=p×u+passet×u×r
目前规定取金额1和金额2中间的较小值。
当为认沽期权时:
金额1定义:
v 1 = p × u + p a s s e t × u × r − ( e − p a s s e t ) × u v_1 = p \\times u + p_asset \\times u \\times r - (e -p_asset) \\times u v1=p×u+passet×u×repasset)×u
金额2定义:
v 2 = p × u + p a s s e t × u × r v_2 = p \\times u + p_asset \\times u \\times r v2=p×u+passet×u×r
最终价格取v1和v2中的较小值。

仓位定义

我们用Position类来表示用户的仓位,包括用户的现金金额、持有的认购合约编号和数量列表、持有的认沽期权合约编号和数量列表,同时还有净值金额,其为现金金额再加上持有的期权合约在当前市场价格下的金额。
Position类定义如下所示:

class Position(object):
    def __init__(self):
        self.name = 'apps.sop.exchange.Position'
        self.amount = 0.0 # 现金账户
        self.net_worth = 0.0 # 净值
        self.call_options = [] # 持有的认购合约列表
        self.put_options = [] # 持有的认沽合约列表
        self.rpnl = 0.0 # 已实现损益
        self.upnl = 0.0 # 未实现损益

策略类定义

接下来我们来看策略类,我们在这里先不讲具体的策略,这里先只产生买入操作,主要目的是先将期权交易的整体流程走通,然后我们再来逐一细化回测平台的各个组件。
所有策略类都有一个基类Strategy,其有一个run方法,就是看到环境的状态obs和上一时刻行动的奖励信号reward,然后生成一个action。我们会在Agent类的choose_action方法中对其进行调用。
在实际应用系统中,我们会定义多个Strategy类的子类,同时还会定义一些组合策略。
策略基类Strategy定义如下所示:

class BaseStrategy(object):
    def __init__(self, action):
        self.refl = 'apps.sop.snp.BaseStragegy'
        self.action = action

    def run(self, obs, reward):
        self.action.reset()
        option_idx = 0
        self.action.action[SopAction.IDX_OPTION][option_idx] = 1
        action_idx = 0
        self.action.action[SopAction.IDX_ACTION][action_idx] = 1
        percent_idx = 9
        self.action.action[SopAction.IDX_PERCENT][percent_idx] = 1
        return self.action.action

    def reset(self):
        self.action.reset()

在实际系统中,策略类做出决策后,需要调用风险控制模块进行审核,当通过风控模块审核后,才能进行真实交易。
风险控制类定义如下所示:

class RiskController(object):
    def __init__(self):
        self.refl = 'apps.sop.snp.RiskController'

    def review_action(self, obs, reward, action):
        '''
        验证当前状态obs下采取action的合理性
        返回值:True同意,False拒绝
        '''
        print('风控审核通过!!!!!!!!!!!!!!!!!!')
        return True

在Agent类的choose_action中,当调用Strategy.run方法生成action后,将调用RiskController.review_action方法,审核通过返回True,不通过返回False,如下所示:

class SopAgent(object):
    def choose_action(self, obs, reward):
        '''
        根据环境当前状态选择本时间点的行动,将上一时间点行动的奖励信号
        用于策略学习
        '''
        print('看到:0;\\n奖励:1;'.format(obs, reward))
        action = self.strategy.run(obs, reward)
        if not self.risk_controller.review_action(obs, reward, action):
            action.reset()
        return action

当审核通过后,Agent将所选择的行动发送给环境类SopEnv,其会调用_execute_action来执行该行动,这里是生成订单Order,并调用Broker类来执行。
我们先来定义订单Order类:

class Order(object):
    def __init__(self, action):
        self.refl = 'apps.sop.exchange.Order'

    def __str__(self):
        msg = '订单类:'
        return msg

在环境类SopEnv._execute_action中生成订单,如下所示:

    def _execute_action(self, action):
        order = Order(action)
        print('执行订单:0;'.format(order))

接下来我们定义券商Broker类,在该类中将计算和转移权利金、保证金、交易手续费和税费,并最终向证券交易所系统提交并执行订单,如下所示:

class Broker(object):
    def __init__(self):
        self.refl = 'apps.sop.exchange.Broker'

    def execute_order(self, order):
        print('券商系统订单执行完毕')

在环境类SopEnv._execute_action方法调用:

    def _execute_action(self, action):
        order = Order(action)
        self.broker.execute_order(order)

至此我们已经引入了强化学习回测系统中所有的基础类,总结一下总体的业务流程:

  • 环境类SopEnv获取系统状态和奖励信息;
  • 环境类将系统状态和奖励信号发送给Agent,Agent调用策略类;
  • 策略类生成行动,将环境状态、奖励信号、仓位信息作为参数;
  • Agent接收到策略类的行动,调用风险控制RiskController模块,决定是否执行该行动;
  • 若风控模块允许执行,Agent则将行动传递给环境类;
  • 环境类生成订单,交给Broker来执行;
  • Broker计算费用并完成订单,更新相应的仓位信息;
    在上面的基本框架中,还有很多细节需要完善,比如在所有这些步聚中,均需要操作用户的仓位信息,我们怎样进行管理,另外就是策略的具体实现,怎样操作用户的仓位信息等,我们将在后续博文中详细讲解。

以上是关于基于强化学习的期权量化交易回测系统5的主要内容,如果未能解决你的问题,请参考以下文章

基于强化学习的期权量化交易回测系统1

基于强化学习的期权量化交易回测系统1

基于强化学习的期权量化交易回测系统3

基于强化学习的期权量化交易回测系统3

基于强化学习的期权量化交易回测系统4

基于强化学习的期权量化交易回测系统4