本文粗略总结了Attention机制,并使用keras实现了attention生成新闻标题。
本文介绍了self-attention和multi head attention的原理,定义一个keras实现层。并在其基础上搭建一个中文新闻分类模型,同时给出结果对比。
本文基于论文<A Neural Probabilistic Language Model>提出的神经网络语言模型(NNML),介绍了其原理,以及使用keras复现了模型。
本文基于论文《Efficient Estimation of Word Representations in Vector Space》,描述了词向量训练模型CBOW和Ski-gram的原理,以及给出keras实现。