Improving Language Understanding by Generative Pre-training

OpenAI: Improving Language Understanding by Generative Pre-Training

抽取式问答

首次提出了双向的attention流应用在MRC任务， 在SQuAD数据上取得sota的结果，后面的许多论文都是在此基础上进行的。