log日志

为什么使用

一般将打印信息和提示信息输出到控制台上，但是遇到信息过多，则会出现保存不及时、无法来回浏览的情况，可以将控制信息保存在日志文件中。比如在模型训练过程中会不断地输出训练的一些结果、时间等信息。
在linux可以使用重定向，直接将屏幕输出信息记录在文件中，也就相当于日志功能。python中也有日志模块logging

如何使用

import logging
#第一步，创建一个logger
logger = logging.getLogger()
logger.setLevel(logging.INFO)  # Log等级总开关
# 第二步，创建一个handler，用于写入日志文件
rq = time.strftime('%Y%m%d%H%M', time.localtime(time.time()))

current_work_dir = os.path.dirname(__file__)

log_path = current_work_dir + '/log/'
log_name = log_path + rq + '.log'
logfile = log_name
fh = logging.FileHandler(logfile, mode='w')
fh.setLevel(logging.DEBUG)  # 输出到file的log等级的开关
# 第三步，定义handler的输出格式
formatter = logging.Formatter("%(asctime)s - %(filename)s[line:%(lineno)d] - %(levelname)s: %(message)s")
fh.setFormatter(formatter)
# 第四步，将logger添加到handler里面
logger.addHandler(fh)
# 日志
logger.debug('this is a logger debug message')
logger.info('this is a logger info message')
logger.warning('this is a logger warning message')
logger.error('this is a logger error message')
logger.critical('this is a logger critical message')

# 使用方法2
# 首先建立一个logging字典
_LOGGING = {
    'version': 1,
    'disable_existing_loggers': False,
    'formatters': {
        'simple': {
            'format': '[-%(levelname)s-] %(asctime)s %(process)d %(message)s'
        },
        'detail': {
            'format': '[-%(levelname)s-] %(asctime)s %(process)d ' + ' %(module)s.%(funcName)s line:%(lineno)d  %(message)s',
        },
    },
    'handlers': {
        'console': {
            'level': 'DEBUG',
            'class': 'logging.StreamHandler',
            # 'formatter': 'simple'
            'formatter': 'detail',
            'stream': log_capture_string,
        },
        'console1': {
                'level': 'DEBUG',
                'class': 'logging.StreamHandler',
                # 'formatter': 'simple'
                'formatter': 'detail',
                # 'stream': log_capture_string,
            },
        'file': {
            'level': 'DEBUG',
            'formatter': 'detail',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            # 'maxBytes': 1024,
            # 'backupCount': 3,
            'when': 'midnight',
            'interval': 1,
            'filename': os.path.join(proj_dir, 'log/debug.log')
        },
        'err_file': {
            'level': 'ERROR',
            'formatter': 'detail',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'when': 'midnight',
            'interval': 1,
            'filename': os.path.join(proj_dir, 'log/error.log')
        },
        'perf': {
            'level': 'INFO',
            'formatter': 'simple',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'when': 'midnight',
            'interval': 1,
            'filename': os.path.join(proj_dir, 'log/info.log')
        },
        'track': {
            'level': 'WARN',
            'formatter': 'simple',
            'class': 'logging.handlers.TimedRotatingFileHandler',
            'when': 'midnight',
            'interval': 1,
            'filename': os.path.join(proj_dir, 'log/warn.log')
        },

    },
    'loggers': {
        'default': {
            'level': 'DEBUG',
            'handlers': ['console1', 'file', 'err_file', 'perf', 'track']
        },
        'console': {
            'handlers': ['file', 'err_file'],
            'level': 'DEBUG'
        },
        'perf': {
            'handlers': ['perf'],
            'level': 'DEBUG',
            'propagate': False
        },
        'track': {
            'handlers': ['track'],
            'level': 'DEBUG',
            'propagate': False
        }
    }
}
logging.config.dictConfig(_LOGGING)
logger = logging.getLogger('default')

里面有包含info，warning，error，debug的一些信息。然后在需要使用的地方引入

from my_log import logger
logger.info("building vocab file")
logger.info('epoch %d, step %d, loss %.4f , accuracy %.4f' % (epoch, step, loss, accuracy))

args参数

为什么使用

python程序中往往需要命令行输入参数，所以使用参数可以模块可以让人轻松编写用户友好的命令行接口。在深度学习模型中，也可以作为参数文件，实现参数的统一管理，方便后续调试。

如何使用

import argparse #引入argparse的包
parser = argparse.ArgumentParser(description="train") #创建一个名为parser的namespace
parser.add_argument("--train_path", type=str, default="./data/train.txt", help="train file") #添加参数
parser.add_argument("--test_path", type=str, default="./data/test.txt", help="test file")
...
args = parser.parse_args() # 对命名空间进行解析

parser.add_argument("--train_path", type=str, default="./data/train.txt", help="train file")
# 参数名为train_path，后续调用也用args.train_path，类型为str，默认值为train.txt，提示信息为trian file

# 使用方法1
from args_help import args # 从该文件中引入args参数
vocab2id, id2vocab = read_vocab(args.vocab_file)
tag2id, id2tag = read_vocab(args.tag_file)
text_sequences ,label_sequences= tokenize(args.train_path,vocab2id,tag2id)

# 使用方法2
# 从命令行输入参数
python main.py \
--bert_dir="../model_hub/bert-base-chinese/" \
--data_dir="./data/cner/" \
--log_dir="./logs/" \
--output_dir="./checkpoints/" \
... 
#可以将之放在一个sh文件中运行

# 在要使用参数的文件中引入该参数即可
from args_help import args