2019 NLP大全：论文、博客、教程、工程进展全梳理（长文预警）

选自Medium

作者：Elvis机器之心编译

在整个2019年，NLP领域都沉淀了哪些东西？有没有什么是你错过的？如果觉得自己梳理太费时，不妨看一下本文作者整理的结果。

2019 年对自然语言处理（NLP）来说是令人印象深刻的一年。本文将着重讲述一些 2019 年我在机器学习和自然语言处理领域有所见闻的重要事件。我会把重点主要放在自然语言处理上，但也会涉及若干人工智能领域的趣闻。主要内容包括研究论文、博客、工具和数据集、社区讨论、教程资源等。长文预警，建议先点收藏。

目录

研究论文2019 年，谷歌人工智能团队带来了

ALBERT

，它是用于情境化语言表征的自监督学习模型

BERT

的精简版。主要的改进在于减少了冗余，更加有效地分配了模型的性能。此方法在 12 个自然语言处理任务上达到了当前最佳性能（SOTA）。2018 年底，英伟达的研究者们发表了一份热门论文 (A Style-Based Generator Architecture for Generative Adversarial Networks)（取名为

StyleGAN

），提出了对抗生成网络的另一种生成器架构，灵感来自于风格迁移问题。2019 年，这份工作有了更新 (

Analyzing and Improving the Image Quality of StyleGAN

)，着重研究了诸如重新设计生成器正则化的过程等方面。

上面一行为目标图像，下面一行为合成图像。图源：//p1-tt.byteimg.com/origin/pgc-image/f8c55547a04941da994a329d1879490b.jpg" style="width: 650px;">

全注意力层。图来：//p1-tt.byteimg.com/origin/pgc-image/23a688b6e485427f8c18498bf35e0869.jpg" style="width: 650px;">

神经逻辑机架构。图源：//p1-tt.byteimg.com/origin/pgc-image/3a24b9f224ee4c5fa3f621ff4121f0ac.jpg" style="width: 650px;">

InceptionV1 的图像分类网络的激活图谱展示了很多完全实现的特征，如电子产品、建筑物、食物、动物的耳朵、植物和多水的背景。图来：博文 //p1-tt.byteimg.com/origin/pgc-image/902d6a42be2b41d4a1fe56fb2fe234d8.jpg" style="width: 650px;">

人工智能系统分析的脑部扫描Janelle Shane 总结了一组「奇怪」的实验 (//p1-tt.byteimg.com/origin/pgc-image/56559dc7d4764e44b7dac239ba8d75f5.jpg" style="width: 650px;">

蛇的种类。图源：//p1-tt.byteimg.com/origin/pgc-image/68122a26313145cd83b7a904bcfafb5e.jpg" style="width: 650px;">

图片来源：//p1-tt.byteimg.com/origin/pgc-image/f5021d226a0d4ca28b23573f2d17e43a.jpg" style="width: 650px;">

TensorFlow 2.0 发布了，

有许多新的功能

。在这里可以读到最佳使用方法 (//p1-tt.byteimg.com/origin/pgc-image/7b16ff9644104c2d90ca17625f9abf4d.jpg" style="width: 650px;">

图片来源：//p1-tt.byteimg.com/origin/pgc-image/4cf32a0d64f84780b8b0d3e45ceb2401.jpg" style="width: 650px;">

exBERT。图源：http://exbert.net/Distill 发表了一篇关于如何可视化循环神经网络 (RNN) 的记忆过程的文章 (//p1-tt.byteimg.com/origin/pgc-image/89316252a7324bc8a768c55f539ed456.jpg" style="width: 650px;">

图片来源：//p1-tt.byteimg.com/origin/pgc-image/0a9151ab84204fa7a94f3b1bab21b02f.jpg" style="width: 650px;">

「三张图分别表示从事 NLP 的平均学术年龄、中位数学术年龄以及作者在学术年龄发第一篇论文的百分比。」——图片来源 //p1-tt.byteimg.com/origin/pgc-image/4d30a8bea14745ea8dc94f98bf46fe6c.jpg" style="width: 650px;">

图片来源：//p1-tt.byteimg.com/origin/pgc-image/31910abdf09b42e6a52f7be0ff7f8569.jpg" style="width: 650px;">

「以点估计为权重的网络与以概率分布为权重的网络」。图片来源：//p1-tt.byteimg.com/origin/pgc-image/012d19874bf046e4bb711f4fb1166658.jpg" style="width: 650px;">

NLP 概述。微软研究实验室在数据科学的基础上出版了免费的电子书，范围从马尔可夫链蒙特卡罗到随机图。电子书链接：//p1-tt.byteimg.com/origin/pgc-image/147cc802c6e641cd886bff236ff9d8db.jpg" style="width: 650px;">

Adrian Rosebrock 发布了一本长达 81 页的指南，介绍如何使用 Python 和 OpenCV 实现计算机视觉。指南链接：//p1-tt.byteimg.com/origin/pgc-image/0945d15ec7304691aa18cdb6d3547cf7.jpg" style="width: 650px;">

标准自我注意力机制的可视化图，图片来源：http://peterbloem.nl/blog/transformers 这是 Mihail Eric 撰写的关于 ACL 2019 NLP 趋势的精彩概述。包括将知识注入 NLP 体系结构、可解释性和减少偏见等。文章链接：//p1-tt.byteimg.com/origin/pgc-image/99ff4cf4220d4daebec0ac0d7ebfb4e5.jpg" style="width: 650px;">

关于 BERT、ELMo等用于迁移学习 NLP 的插图指南链接如下：http://jalammar.github.io/illustrated-bert/

图片来源：http://jalammar.github.io/illustrated-bert/Fast.ai 发布了 2019 年版「面向程序员的实用深度学习」课程。课程链接：//p1-tt.byteimg.com/origin/pgc-image/3bad5fb4eb9e4035b3c87934a744a536.jpg" style="width: 650px;">

人工智能中的道德伦理学可能是今年人工智能系统中讨论最多的方面之一，其中包括围绕偏见、公平和透明度等方面的讨论。本节提供了有关该主题的有趣故事和论文清单：「Does mitigating MLs impact disparity require treatment disparity?」一文讨论了通过对真实数据集进行实验且应用不同学习过程的结果。文章链接：http://papers.nips.cc/paper/8035-does-mitigating-mls-impact-disparity-require-treatment-disparityHuggingFace 发表了一篇文章在人工智能对话中开源 NLP 技术背景下的伦理问题。文章链接：https://medium.com/huggingface/ethical-analysis-of-the-open-sourcing-a-state-of-the-art-the-art-conversational-ai-852113c324b2随着我们继续将 AI 的技术引入社会，探究伦理在 AI 研究中的作用是一项重要的工作。下面的论文提供了「伦理相关的研究在领先的人工智能、机器学习和机器人领域的应用」的分析。文章链接：https://arxiv.org/abs/1809.08328在 NAACL 2019 上发表的论文讨论了除偏方法如何掩盖词嵌入中的性别偏见。文章链接：https://arxiv.org/abs/1903.03862可以听听 Zachary Lipton 在他的论文《Troubling Trends in ML Scholarship》中做的演讲：https://www.youtube.com/watch?v=A2Jtqi_oa2Y]。附摘要：https://medium.com/dair-ai/an-overview-of-troubling-trends-in-machine-learning-scholarship-582df3caa518Gary Marcus 和 Ernest Davis 发表了他们的书《重启人工智能：构建我们可信赖的人工智能》。本书的主题是讨论实现强大的人工智能必须采取的步骤。链接：https://www.amazon.com/Rebooting-AI-Building-Artificial-Intelligence/dp/1524748250关于 AI 进步的话题，François Chollet 也写了一篇令人印象深刻的论文，提出更好的方法来测量智力。文章链接：https://arxiv.org/abs/1911.01547由 Andrew Trask 提出的有关差异化隐私、联合学习和加密 AI 等主题的 Udacity 课程链接如下：https://www.udacity.com/course/secure-and-private-ai--ud185关于隐私主题，Emma Bluemke 撰写了一篇很棒的文章，讨论了如何在保护患者隐私的同时训练机器学习模型。文章链接：https://blog.openmined.org/federated-learning-differential-privacy-and-encrypted-computation-for-medical-imaging/在今年年初，Mariya Yao 发布了一份关于 AI 伦理的综合研究论文摘要。尽管论文参考清单来自 2018 年，但它们今天仍然适用。文章链接：https://www.topbots.com/most-important-ai-ethics-research/ 原文链接：https://medium.com/dair-ai/nlp-year-in-review-2019-fb8d523bcb19原文 PDF：https://github.com/omarsar/nlp_highlights