随着现代互联网的发展,试验的门槛不断降低,A/B测试已经被普遍运用在各行各业,就算你没有做过A/B测试,也很有可能参与过A/B测试。 在风控中,随机测试和AB测试被应用的风险场景,分布在风险全流程环节,包括贷前、贷中、贷后模块,例如随机测试/AB测试在风控中的应用场景: 1.信审、催收分案; 2.催收IVR或人工催收; 3.催收外包时点; 4.贷前策略调整; 5.额度调整 6.期限选择;
在相关的随机测试需考虑的因素,有以下几个模块: 测试对象、测试比例、测试时间、测试策略 以上每个模块,我们逐一展开阐述: 一:测试对象or目标确定 订单维度 客户维度 规则 规则集 环节 产品:期限/场景 客户类型:新客/次新客/老客 二:随机测试比例 通过控制随机数/订单位数来控制整体测试比例 (注意:要留意由于随机测试通过带来的通过率提升比例是否在接受范围内,以免对贷后表现影响过大) 若同时进行多组随机测试要尽量控制各组测试间可能存在的互相影响, 可用随机数的不同位数进行控制,尽量不用运用一样的随机数;
三:随机测试的时间:(开始时间/截止时间) 开始时间: 随时可以进行。 策略的观测及调整是个动态且持续进行的过程,应根据进件量的多少每天适度一定比例订单进行随机测试。 注意选择外部环境或运营策略保持相对平稳的时候进行; 也可按需在需要时或选择部分客群进行。
截止时间: 估算测试所需要的样本数量以及对通过率的影响,确定测试时间:
按日期划分:比如收集2个月数据后就停止AB并切回到AB前的调用方案,待收集的数据有足够表现期后再进行策略复盘,如若评估通过,就可以立即上线; 按样本量划分,比如收集满5000个样本,可能是1个月,也可能是五六个月,达到预定样本量后就停止AB并切回原方案,待收集的数据有足够表现期后再进行策略复盘,如若评估通过,就可以立即上线;
四:随机测试的对应策略 随机通过/拒绝; 部分通过/拒绝; 区别:如果是多环节同时进行测试,当全环节均为随机通过时,会通过一部分完全没有被阻拦的客户,该部分订单风险表现异常高,对贷后表现有显著影响。 在以上的第四个模块,随机测试的对应策略中,当进行随机测试的对应策略中,一般常见的策略有两大场景值得关注: 策略调优中的收紧和放松策略 收紧策略: 收紧规则,在通过的客群中寻找差客户拒绝; 通过率与逾期指标同步下降 通过离线方式完成量化分析 放松策略 拒绝客户回捞; 提高通过率,逾期指标可能上升; 根据随机测试结果进行放开;
关于本次策略中的调优,我们更有相关实操案例提供给大家学习了解:
关于以上问题,详细可关注新的一期实战课程:《风控策略效率的策略、调优与评估》。 本次课程不是理论讲解策略相关的效率相关问题,而是有相关的案例与数据提供给大家认识具体的风控策略效率:
~原创文章 … end
|