[人工智能] 将强化学习运用到量化投资中实战篇(执行模块开发）

开发: C++知识库 Java知识库 JavaScript Python PHP知识库人工智能区块链大数据移动开发嵌入式开发工具数据结构与算法开发测试游戏开发网络协议系统运维
教程: HTML教程 CSS教程 JavaScript教程 Go语言教程 JQuery教程 VUE教程 VUE3教程 Bootstrap教程 SQL数据库教程 C语言教程 C++教程 Java教程 Python教程 Python3教程 C#教程
数码: 电脑笔记本显卡显示器固态硬盘硬盘耳机手机 iphone vivo oppo 小米华为单反装机图拉丁

-> 人工智能 -> 将强化学习运用到量化投资中实战篇(执行模块开发） -> 正文阅读

[人工智能]将强化学习运用到量化投资中实战篇(执行模块开发）

将强化学习运用到量化投资中实战篇(执行模块开发）

文章目录

- 将强化学习运用到量化投资中实战篇(执行模块开发）

强化学习股票投资执行模块（main.py）配置程序参数进行各种条件下的强化学习，根据输入因素使用学习器类进行强化学习，并存储学习到的神经网络。本节内容主要介绍这个模块的程序参数和强化学习执行逻辑。

1.设置程序参数

通过指定各种选项配置程序参数以执行强化学习。以下代码片段显示了程序参数设置部分。
强化学习股票投资执行模块：程序因子设置

import os
import sys
import logging
import argparse
import json

import settings
import utils
import data_manager

if __name__ == '__main__':
    parser = argparse.ArgumentParser()
    parser.add_argument('--stock_code', nargs='+')
    parser.add_argument('--ver', choices=['v1', 'v2'], default='v2')
    parser.add_argument('--rl_method', 
        choices=['dqn', 'pg', 'ac', 'a2c', 'a3c'])
    parser.add_argument('--net', 
        choices=['dnn', 'lstm', 'cnn'], default='dnn')
    parser.add_argument('--num_steps', type=int, default=1)
    parser.add_argument('--lr', type=float, default=0.01)
    parser.add_argument('--discount_factor', type=float, default=0.9)
    parser.add_argument('--start_epsilon', type=float, default=0)
    parser.add_argument('--balance', type=int, default=10000000)
    parser.add_argument('--num_epoches', type=int, default=100)
    parser.add_argument('--delayed_reward_threshold', 
        type=float, default=0.05)
    parser.add_argument('--backend', 
        choices=['tensorflow', 'plaidml'], default='tensorflow')
    parser.add_argument('--output_name', default=utils.get_time_str())
    parser.add_argument('--value_network_name')
    parser.add_argument('--policy_network_name')
    parser.add_argument('--reuse_models', action='store_true')
    parser.add_argument('--learning', action='store_true')
    parser.add_argument('--start_date', default='20170101')
    parser.add_argument('--end_date', default='20171231')
    args = parser.parse_args()

上面有很多设置，下面让我们来看看它们中的每一个的含义。

Python 提示：您可以使用 argparse 模块中的 ArgumentParser 类轻松组合 Python 程序参数。您可以创建
ArgumentParser 类对象并使用 add_argument()
函数添加程序参数。您可以配置位置和关键字参数。关键字参数名称以“-”或“–”开头。可以将参数类型指定为type，可以作为参数输入的值作为choices，参数的默认值作为default。有关
ArgumentParser 类的更多详细信息，我们建议您查看官方 Python 文档。https://docs.python.org/en/3/library/argparse.html

–stock_code：将成为强化学习环境的股票代码。对于 A3C，输入多个股票代码。
–ver：指定输入数据的版本。使用 v2 作为默认值。
–rl_method：设置强化学习方法。选择 dqn、pg、ac、a2c 或 a3c 之一。
–net：选择用于价值神经网络和策略神经网络的神经网络类型。dnn选择, lstm,之一cnn。
–num_steps:决定在lstm和中使用的步长cnn。通过这个大小，特征向量的大小被扩展。
–lr：设置学习率。0.01等0.001可以设置。
–discount_factor：设置折扣率。0.9，0.8等等。
–start_epsilon: 决定探索的开始速度。随着时代的进行，探索率会降低。1，0.5等等。
–balance：设置股票投资模拟的初始资金。
–num_epoches：指定要执行的 epoch 数。100，1000等等。
–delayed_reward_threshold：设置延迟补偿的阈值。0.05，0.1等等。
–backend：设置框架以用作 Keras 的后端。您可以选择tensorflow和。plaidml
–output_name：保存输出文件的文件夹名称，如日志、可视化文件、神经网络模型等。
–value_network_name: 值神经网络模型文件名
–policy_network_name: 策略神经网络模型文件名
–reuse_models:是否重用一个神经网络模型
–learning：有或没有强化学习
–start_date：图表数据和训练数据开始日期
–end_date：图表数据和训练数据结束日期

2. 强化学习设置

根据以下代码段中输入的程序参数继续强化学习设置。
示例强化学习股票投资执行模块：强化学习设置 (1)

  # 设置 Keras 后端
    if args.backend == 'tensorflow':
        os.environ['KERAS_BACKEND'] = 'tensorflow'
    elif args.backend == 'plaidml':
        os.environ['KERAS_BACKEND'] = 'plaidml.keras.backend'

    # 设置输出路径
    output_path = os.path.join(settings.BASE_DIR, 
        'output/{}_{}_{}'.format(args.output_name, args.rl_method, args.net))
    if not os.path.isdir(output_path):
        os.makedirs(output_path)

    # 记录参数
    with open(os.path.join(output_path, 'params.json'), 'w') as f:
        f.write(json.dumps(vars(args)))

    # 日志设置
    file_handler = logging.FileHandler(filename=os.path.join(
        output_path, "{}.log".format(args.output_name)), encoding='utf-8')
    stream_handler = logging.StreamHandler(sys.stdout)
    file_handler.setLevel(logging.DEBUG)
    stream_handler.setLevel(logging.INFO)
    logging.basicConfig(format="%(message)s",
        handlers=[file_handler, stream_handler], level=logging.DEBUG)

backend您可以在参数中输入tensorflow和plaidml。
尽可能使用tensorflow。对于 plaidML，使用线程的 A3C 可能无法正常工作。
并将输出路径设置为输入output_name, rl_method,net参数

Python 提示：文件路径在 Windows 操作系统中由 s 分隔，\在 Linux 操作系统中由s
分隔/。由于每个操作系统的路径构造方法不同os.path.join()，建议在Python中用函数配置路径。os.path.join(‘parent’,
‘child’)在 Windows’parent\child’上变为在 Linux 上’parent/child’。 Python
提示：os.path模块具有与路径相关的各种功能。os.path.exists(path)该函数path检查是否 .
os.path.isdir(path)该函数path检查 a
是否存在并且是一个文件夹。os.path.isfile(path)检查path它是否存在并且是一个文件。 Python
提示：该os.makedirs(path)函数创建path包含在
中的文件夹，如果它不存在。path如果是/a/b/c且仅存在当前/a路径，则在该文件夹下创建一个文件夹，并在该/a文件夹下创建一个文件夹，这样路径最终存在。b/a/bc/a/b/c

在该路径中，首先输入的程序参数以 JSON 格式保存。将程序参数作为字典后，将其以 JSON 格式保存在 params.json 文件中。它会在此输出路径中创建一个日志文件。

Python 提示：JSON 代表 JavaScript Object Notation，读作 Jason。JSON 与 Python
的字典非常兼容。Python 的 json 模块中的loads()函数和函数dumps()允许您将 JSON 字符串转换为字典，将字典转换为
JSON 字符串。
Python提示：ArgumentParser对象中存储的程序参数vars()可以通过Python内置函数以字典的形式获取。

下一部分是导入强化学习所需的agent类和learner类，并设置价值神经网络和策略神经网络的模型文件路径。
强化学习股权投资执行模块：强化学习设置（二）


#日志，需要先配置 Keras 后端，然后再导入 RLTrader 模块
    from agent import Agent
    from learners import DQNLearner, PolicyGradientLearner, \
        ActorCriticLearner, A2CLearner, A3CLearner

  # 准备模型路径
    value_network_path = ''
    policy_network_path = ''
    if args.value_network_name is not None:
        value_network_path = os.path.join(settings.BASE_DIR, 
            'models/{}.h5'.format(args.value_network_name))
    else:
        value_network_path = os.path.join(
            output_path, '{}_{}_value_{}.h5'.format(
                args.rl_method, args.net, args.output_name))
    if args.policy_network_name is not None:
        policy_network_path = os.path.join(settings.BASE_DIR, 
            'models/{}.h5'.format(args.policy_network_name))
    else:
        policy_network_path = os.path.join(
            output_path, '{}_{}_policy_{}.h5'.format(
                args.rl_method, args.net, args.output_name))

之所以在此处导入代理和强化学习学习器类，是因为必须先设置日志设置，并且这些设置也适用于相应的类。
value_network_name如果指定，则将值神经网络模型路径准备为此models文件夹中的文件。<value_network_name>.h5这是在重用模型时方便地指定模型的选项。policy_network_name同样，如果指定，策略神经网络模型models将保存在文件夹中。value_network_name如果没有参数，policy_network_name则模型文件保存在输出路径中。

3.运行强化学习

下面展示了设置学习器类参数的部分。
强化学习股权投资执行模块：强化学习执行（一）

    common_params = {}
    list_stock_code = []
    list_chart_data = []
    list_training_data = []
    list_min_trading_unit = []
    list_max_trading_unit = []

    for stock_code in args.stock_code:
       # 准备图表数据、训练数据
        chart_data, training_data = data_manager.load_data(
            os.path.join(settings.BASE_DIR, 
            'data/{}/{}.csv'.format(args.ver, stock_code)), 
            args.start_date, args.end_date, ver=args.ver)

        # 设置最小/最大投资单位
        min_trading_unit = max(int(100000 / chart_data.iloc[-1]['close']), 1)
        max_trading_unit = max(int(1000000 / chart_data.iloc[-1]['close']), 1)

       # 设置常用参数
        common_params = {'rl_method': args.rl_method, 
            'delayed_reward_threshold': args.delayed_reward_threshold,
            'net': args.net, 'num_steps': args.num_steps, 'lr': args.lr,
            'output_path': output_path, 'reuse_models': args.reuse_models}

由于 A3C 并行对多只股票进行强化学习，因此它将股票代码、图表数据、训练数据以及最小和最大投资单位保持为一个列表。
最低投资单位是100,000 RMB以内的股票数量，最大投资单位是100万RMB以内的股票数量。
强化学习方法有共同的参数。common_params我们将这些常用参数存储在字典中。它存储了强化学习方法、延迟补偿阈值、神经网络类型、要在 LSTM 和 CNN 中使用的步数、学习率、输出路径以及是否重用神经网络模型。
下一步是创建并运行一个学习器类来执行强化学习。
强化学习股权投资执行模块：强化学习执行（二）

# 开始强化学习
        learner = None
        if args.rl_method != 'a3c':
            common_params.update({'stock_code': stock_code,
                'chart_data': chart_data, 
                'training_data': training_data,
                'min_trading_unit': min_trading_unit, 
                'max_trading_unit': max_trading_unit})
            if args.rl_method == 'dqn':
                learner = DQNLearner(**{**common_params, 
                'value_network_path': value_network_path})
            elif args.rl_method == 'pg':
                learner = PolicyGradientLearner(**{**common_params, 
                'policy_network_path': policy_network_path})
            elif args.rl_method == 'ac':
                learner = ActorCriticLearner(**{**common_params, 
                    'value_network_path': value_network_path, 
                    'policy_network_path': policy_network_path})
            elif args.rl_method == 'a2c':
                learner = A2CLearner(**{**common_params, 
                    'value_network_path': value_network_path, 
                    'policy_network_path': policy_network_path})
            if learner is not None:
                learner.run(balance=args.balance, 
                    num_epoches=args.num_epoches, 
                    discount_factor=args.discount_factor, 
                    start_epsilon=args.start_epsilon,
                    learning=args.learning)
                learner.save_models()
        else:
            list_stock_code.append(stock_code)
            list_chart_data.append(chart_data)
            list_training_data.append(training_data)
            list_min_trading_unit.append(min_trading_unit)
            list_max_trading_unit.append(max_trading_unit

它根据强化学习的类型确定强化学习学习器类别，并指定价值神经网络和策略神经网络的路径。通过创建学习器类run()的对象并调用该对象的函数来开始强化学习。根据训练数据的大小、时期和设备的性能，强化学习的执行时间可能会有很大差异。
当强化学习完成时，调用一个函数来保存学习到的神经网络模型save_models()。
这是创建 A3CLearner 类对象并为 A3C 强化学习调用run()和函数的部分save_models()。
强化学习股权投资执行模块：强化学习执行（三）

if args.rl_method == 'a3c':
        learner = A3CLearner(**{
            **common_params, 
            'list_stock_code': list_stock_code, 
            'list_chart_data': list_chart_data, 
            'list_training_data': list_training_data,
            'list_min_trading_unit': list_min_trading_unit, 
            'list_max_trading_unit': list_max_trading_unit,
            'value_network_path': value_network_path, 
            'policy_network_path': policy_network_path})

        learner.run(balance=args.balance, num_epoches=args.num_epoches, 
                    discount_factor=args.discount_factor, 
                    start_epsilon=args.start_epsilon,
                    learning=args.learning)
        learner.save_models()