谷歌推出新模型「pQRNN」，少量参数下进行文本分类，性能堪比BERT

图片地址：https://n.sinaimg.cn/sinakd20200925s/482/w900h382/20200925/9352-izrvxmf4754072.jpg

深层神经网络的快速发展在过去的十年中彻底改变了自然语言处理(NLP)领域 。同时，诸如保护用户隐私、消除网络延迟、启用离线功能以及降低运营成本等问题，迅速推动了可以在移动设备而不是在数据中心运行的 NLP 模型的发展。然而，因为移动设备的内存和处理能力有限，这就要求运行在移动设备上的模型体积小、效率高，而且不影响其结果的质量。去年，谷歌发表了一个名为「PRADO」的神经结构，使用一个参数量小于200K 的模型，在许多文本分类问题上取得了SOTA的结果。虽然大多数模型对每个token使用固定数量的参数，但是 PRADO 模型使用的网络结构需要极少的参数来学习任务最相关或最有用的token。PRADO是如何工作的在一年前开发时，PRADO 利用了 NLP 领域特有的文本分割来减少模型的大小并提高性能。图：PRADO的模型结构图：PRADO和LSTM在Yelp数据集上的对比通常，NLP 模型的文本输入首先被处理成适合输入神经网络的形式