模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量，这极可能导致过拟合。”
他这边刚说话，谷歌自家dl的席尔瓦也反驳了乌思克尔特提出的新路线，其中一个重要原因在于rnn的循环结构太符合大家对序列数据处理的理解，即当前状态依赖于过去的信息，而自注意力的全局依赖一看就不如rnn直观。
易科与谷歌的两大领导者都批评了自注意力self-attention，但乌思克尔特并不服气，他直接登台阐述自己更多的想法。
而且，针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路，比如，引入位置编码，比如，进行多头注意力的研究。
有人觉得眼前一亮，有人觉得异想天开，还有人现场进行快速的分析和演算。
第一排的方卓极其茫然，他扭头询问旁边沉思的英伟达掌门人黄仁勋：“他们在讨论什么？”
“乌思克尔特说，gpu是最适合深度学习技术的硬件。”黄仁勋给出一句总结。
方卓：“？？？”
他纳闷道：“我怎么完全没听到类似的表述？”
“因为自注意力self-attention更加强调并行处理，这是gpu更擅长的。”黄仁勋笑道，“至于其他的，不重要，我们只要提取对我们有利的就好。”
方卓观察着现场的气氛，这已经不是知识的交流，更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是，等到晚上，方卓还是当面询问了这次参与辩论的吴恩达，想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
“方总，等我们想一想再写一份报告吧。”他思考许久之后由衷地说道，“这样的交流或许应该多来几次，他那个自注意力，我现在想想，缺点也不是不能解决。”
方卓耐心的询问：“那我们应该做些什么？”
-->>(第6/9页)（本章未完，请点击下一页继续阅读）