手机浏览器扫描二维码访问
第1471章（第2页）
方卓这种看法的表达还是赢来了不少掌声与直播间的好评。
对于许多人来说，这场热闹也就看到这里了，但对从业者、研发人员来说，真正的部分才刚刚开始，不论易科还是谷歌都在深度学习DL领域有很深的研究，这种围棋对弈只是展露出的表象，内里的运转与思考才是更让人重视的。
吴恩达作为易科“Venus”项目的负责人之一，与谷歌旗下公司的席尔瓦就DL的模型逻辑进行了交流。
不管太白还是阿尔法，它们都是基于卷积神经网络的发展而来，这一基础是类似的，而它的突破源于2012年Alex、Ilya和Hinton合作发表的关于AlexNet深度卷积神经网络的论文，也正是在这之后，相关的研究出现了爆炸式的增长。
吴恩达与席尔瓦谈的是在AlexNet之后的架构创新，是将传统的搜索算法与深度学习模型的有效整合，以及，整个团队在局部感受野、参数共享与稀疏连接、平移不变性这些方面做出的努力。
这种易科与谷歌以及场下嘉宾的交流极其愉快，也让方卓颇为满意，他虽然不懂，但瞧着这样的场面就觉得知识被塞进了脑子里。
只是，等到第二天，当吴恩达提出团队在研发上的困惑时，激烈的辩论到来了。
易科是有“Siri”这样的语音助手作为人工智能的实践，而吴恩达的团队不仅在做卷积神经网络CNN的研究，也在做循环神经网络RNN的研究，他们认为后者更适合与语音助手相结合，但效果并不算很好，完全达不到想要的成绩。
问题出在哪里？
吴恩达表述了困惑，也谈了谈易科内部的解决方向。
参会的一部分人赞同易科的解题思路，但谷歌方面却出现了不同的声音。
“为什么非要使用循环神经网络？”谷歌的乌思克尔特本来正在休假，但因为对DL的交流感兴趣便报名过来，“为什么不试试自注意力Self-attention？我认为它对NLP领域将会有更优秀的改变。”
“Self-attention可以进行更好的并行计算能力，而不是像RNN那样进行顺序处理，它还能直接比较序列中任意两个位置的向量表示，这样就能更有效的捕捉和利用长距离依赖关系，但RNN不行！”
“RNN虽然理论上也能捕捉长距离依赖，但实际上往往因梯度消失或爆炸问题而难以实现！”
乌思克尔特研究的是谷歌的机器翻译改进方法，他的父亲就是计算语言学的教授，尽管刚开始进入谷歌时对语言翻译的工作很不喜欢，但最终还是专注于这一领域的研究，而他近期正在琢磨的便是“自注意力Self-attention”在相关领域的改善。
吴恩达很快明白这位谷歌研究员的意思，也在几经思索后给予反驳：“自注意力没有显式地编码位置信息，这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异，而在自然语言的处理中，词语的语义又与位置紧密相关。”
“而且，自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量，这极可能导致过拟合。”
他这边刚说话，谷歌自家DL的席尔瓦也反驳了乌思克尔特提出的新路线，其中一个重要原因在于RNN的循环结构太符合大家对序列数据处理的理解，即当前状态依赖于过去的信息，而自注意力的全局依赖一看就不如RNN直观。
易科与谷歌的两大领导者都批评了自注意力Self-attention，但乌思克尔特并不服气，他直接登台阐述自己更多的想法。
而且，针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路，比如，引入位置编码，比如，进行多头注意力的研究。
有人觉得眼前一亮，有人觉得异想天开，还有人现场进行快速的分析和演算。
第一排的方卓极其茫然，他扭头询问旁边沉思的英伟达掌门人黄仁勋：“他们在讨论什么？”
“乌思克尔特说，GPU是最适合深度学习技术的硬件。”黄仁勋给出一句总结。
方卓：“？？？”
他纳闷道：“我怎么完全没听到类似的表述？”
“因为自注意力Self-Attention更加强调并行处理，这是GPU更擅长的。”黄仁勋笑道，“至于其他的，不重要，我们只要提取对我们有利的就好。”
方卓观察着现场的气氛，这已经不是知识的交流，更像是知识的火拼了。
他默默的收起自己在这种场合本就不多的存在感。
只是，等到晚上，方卓还是当面询问了这次参与辩论的吴恩达，想知道这场面红耳赤的讨论都有些什么东西。
吴恩达真的很难和方总解释发生了什么。
“方总，等我们想一想再写一份报告吧。”他思考许久之后由衷地说道，“这样的交流或许应该多来几次，他那个自注意力，我现在想想，缺点也不是不能解决。”
方卓耐心的询问：“那我们应该做些什么？”
吴恩达回味今天的整场辩论，思考着不同人提出的不同想法，喃喃道：“或许，我们需要先试试一种新型软件，让它可以和计算机对话。”
世家的天下：魏晋豪门与皇帝的争权之路 当明星从跑龙套开始 魔法高材生 草根石布衣 暗恋听见了/骄软 贵妃 被渣男分手后，我靠美食暴富了 随身英雄杀 灵魂引渡人 骇档案：死亡循环 诡墓密码 名门掠婚：顾少，你够了 从监狱中走出的绝代仙帝 举案齐眉，终是意难平（快穿） 寻情仙使 静春 楚剑秋柳天瑶混沌天帝诀完结篇 我全家都是灭世BOSS 服软 万人嫌神探凭亿近人
法师奥义
法师奥义简介emspemsp关于法师奥义只要能够构建一个稳定的法术模型，任何人都可以成为法师！这就是法师的终极奥义！穿越成为贵族之子，带着前世的超级量子计算机，法术模型信手拈来...
豪门禁锢：小宝贝，真甜
乖…自己坐上来…秦末看着车内的左南臣，往哪坐？传闻左南臣，暴殄嗜血，手段残暴，无情绝爱。秦末眼中的左南臣，床上饿狼，床下色狼。重生前，他对她强取豪夺，禁锢她，与世隔绝，霸占囚之。重生后，秦末哄臣大宝宝。左南臣，你让我出去玩好不好，末末给你吃。左南臣，你让我学习好不好，末末给你吃。左南臣，你给我宝宝好不好，末末给你吃。左南臣最喜欢在秦末小耳朵边，用那性感的磁性声低咛末末，叫给我听。如果您喜欢豪门禁锢小宝贝，真甜，别忘记分享给朋友...
美漫之纪元开启
我的名字是迈克尔帕索，一名电子信息技术和机械工程领域的天才。一次偶然的机会让我的灵魂穿越到了一个陌生的世界漫威宇宙。这是一个充满危险的世界，内有如雨后春笋般窜出的超级罪犯，外有星际霸主虎视眈眈，还有在维度之外伺机而动的黑暗魔神面对这一切威胁，我所能倚仗的只有知识和头脑。但我不会束手待毙，我要改变这个世界的未来，扭转既定的命运，书写全新的历史。我要带领人类开启一个全新的纪元。如果您喜欢美漫之纪元开启，别忘记分享给朋友...
末世之宠物领主
当末世来临，人类成为整个星球上最为弱小的生物，要想要在夹缝中生存，就需要与天争与地斗。作为一名拥有系统的人类又将如何在这个末世中将整个世界搅得天翻地覆呢如果您喜欢末世之宠物领主，别忘记分享给朋友...
夫君，我才是你最大的金手指
乔苓在生命最后一刻自愿无偿捐献所有器官，功德无量感动上天，获得重生还附赠一个药田空间。然而，辛辛苦苦兢兢业业升级空间之后傻眼了。失传的古医书，不传秘方，针灸之术，这都是些啥。。。专业不对口啊！我不想学医啊！我只想种田啊！乔苓摸着下巴看向身姿笔挺坐在桌前低头写字的少年。公子，我看你骨骼精奇，是万中无一的医学奇才，拯救万民于水火的重任就靠你了，我这有几本医书…少年抬起头，目光沉静，你有病吧。乔苓重重点头，没错！我不仅有病，我还有药！如果您喜欢夫君，我才是你最大的金手指，别忘记分享给朋友...
启复汉
启复汉简介emspemsp关于启复汉人狠话不多的刘启，穿越到架空历史的赵宋朝，借助金手指，在兵荒马乱的北赵末乱世，挣扎求存，建功立业。书友群696261568...