2018年，ELMo、BERT和GPT的发布，表明了预训练语言模型(PLMs)的成功，进而给自然语言理解和生成方面带来了重大突破。

我们想要探索更有效的培训前架构，目前为止已经做了很多工作。比如，利用跨模态数据、跨语言数据、结构化知识等改进预训练语言模型，或者创新性地将PLMs应用于各种与NLP相关的任务。

为了进一步分析此领域的最新研究进展，期刊AI Open特别设置了专刊“Special Issue on Pre-Trained Language Models”，也欢迎学者们关注并投稿。

本专刊致力于发表和呈现PLMs的前沿评论、研究和应用，为研究人员提供一个平台，分享他们在这一活跃领域的最新观察和成果。

一、本次征稿的十个主题

1.Novel architectures and algorithms of PLMs

2.Generative PLMs

3.Fine-tuning and adaptation of PLMs

4.Multi-tasking and continual learning of PLMs

5.Knowledge-guided PLMs

6.Cross-lingual or multi-lingual PLMs

7.Cross-modal PLMs

8.Knowledge distillation and model compression of PLMs

9.Analysis and probing of PLMs

10.Applications of PLMs in various areas, such as information retrieval, social computation, and recommendation

二、投稿要求

提交给该期刊以供发表的论文必须是原创的，且不能一稿多投；

稿件必须具有大量的 “新的和原始的” 想法，30％以上的内容必须是 “全新” 的；

提交前，请先阅读 Guide for Authors ，文章提交请 Submitted online；

请在提交时选择 SI：Pre-Trained Language Models；

Guide for Authors 链接地址：

http://www.keaipublishing.com/en/journals/ai-open/guide-for-authors/

Submitted online  链接地址：

https://www.editorialmanager.com/aiopen/default.aspx

三、客座编辑

唐杰

清华大学计算机与科学技术系教授，系副主任Email: jietang@tsinghua.edu.cn

刘知远

清华大学计算机系自然语言处理实验室, 副教授Email: liuzy@tsinghua.edu.cn

邱锡鹏

复旦大学计算机科学技术学院教授，博士生导师

Email: xpqiu@fudan.edu.cn

三、注意日期

提交截止日期：2021 年 3 月 10 日

最终决定日期：2021 年 5 月 15 日发布日期：2021 年 6 月 30 日

AI Open致力于分享人工智能及其应用理论的可操作知识和前瞻性观点。该期刊欢迎关于人工智能及其应用的各个方面的文章。再次诚挚邀请各位学者参与此次 AI Open 特刊的征稿活动！

（点击“阅读原文”进一步了解）