精通Transformer

AI领域的基石王者,那些还沉迷于CNN，RNN的工程师被警告：放弃战斗吧，向Transformer投降！

在过去的二十年中，自然语言处理研究领域发生了翻天覆地的变化。在这段时间里，自然语 言处理经历了不同的处理范式，并最终进入了一个由神奇的Transformer体系结构主导的新时代。 Transformer深度学习架构是通过继承许多方法而产生的，其中包括上下文词嵌入、多头注意力机制、位置编码、并行体系结构、模型压缩、迁移学习、跨语言模型等。在各种基于神经的自然语言处理方法中， Transformer架构逐渐演变为基于注意力的“编码器-解码器”体系结构，并持续发展到今天。现在，我们在文献中看到了这种体系结构的新的成功变体。目前研究已经发现了只使用 Transformer 架构中编码器部分的出色模型，如 BERT(Bidirectional Encoder Representations from Transformers,Transformers双向编码表示);或者只使用Transformer架构 中解码器部分的出色模型，如 GPT(Generated Pre -trained Transformer,生成式的预训练 Transformer)。

本书涵盖了这些自然语言处理方法。基于 Hugging Face社区的Transformer库，我们能够轻 松地使用Transformer。 本书将循序渐进地提供各种自然语言处理问题的解决方案：从文档摘要到问 题回答系统。我们将看到，基于Transformer, 可以取得最先进的成果。

本书由Savas Yldmnm专业人士编写

萨瓦斯 ·伊尔蒂利姆 (Savas Yldmnm) 毕业于伊斯坦布尔技术大学计算机工程系，拥有自然 语言处理 (Natural Language Processing,NLP)专业的博士学位。目前，他是土耳其伊斯坦布尔 比尔基大学的副教授，也是加拿大瑞尔森大学的访问研究员。他是一位积极热情的讲师和研究员， 具有20多年教授机器学习、深度学习和自然语言处理等课程的丰富经验。他开发了大量的开源软件 和资源，为土耳其自然语言理解社区做出了重大贡献。他还为人工智能公司的研究开发项目提供全 面的咨询服务。