[人工智能]Gavin老师Transformer直播课感悟 - DIET:基于Transformer的轻量级多任务NLU系统（三）

一、概述

        通过基于各种数据集以及模型组件的搭配来测试DIET架构各个组件的有效性，验证各种情况下DIET模型的表现。

二、实验数据准备

        在实验中使用了三种数据集：NLU-Benchmark数据集，ATIS数据集，SNIPS数据集。实验主要聚焦于NLU数据集，数据集主要使用了scenarios，actions, entities三类注解。

e.g. schedule a call with Lisa on Monday morning

        这句话里scenario是”calendar”, action是”set_event”, entities包括[event_name: a call with Lisa]和[date: Monday morning]，那么intent label可以通过组合如”calendar_set_event”来定义。关于intent的设置是需要重点考虑的，这涉及到语言理解的粒度，重合度等方面，如果设置的耦合度较高，可能会导致模型在语言理解时出现confuse的情况。

        在实验时把NLU数据集划分为10个folds

开通VIP 解锁文章