时时彩计划软件,时时彩玩法技巧,北京赛车规律数字高手,购彩平台 凤凰彩票

回覆新模子CLEVR精确率达988%助赢彩票DeepMind提出视觉问题

时间:2018-09-18 13:48来源:未知 作者:admin 点击:
天津时时彩回覆相关图像的问题凡是是按照预测模子制定的。这些布局将相对回覆a的前提分布最大化,给定问题q和图像x: 图3: hard attention机制的分歧变体取分歧聚合方式之间的定性

  天津时时彩回覆相关图像的问题凡是是按照预测模子制定的。这些布局将相对回覆a的前提分布最大化,给定问题q和图像x:

  图3: hard attention机制的分歧变体取分歧聚合方式之间的定性比力。绿色暗示准确谜底,红色暗示不准确,橙色暗示和人类的谜底之间的存正在部门共识。这张图申明了分歧方式的长处。

  图1:我们利用给定的天然图像和文本问题做为输入,通过Visual QA架构输出谜底。该架构利用硬留意力(hard attention)机制,仅为使命选择主要的视觉特征,进行进一步处置。我们的架构基于视觉特征的规范取其相关性相关的前提,那些具有高幅的特征向量对应的是包含主要语义内容的图像神话在线域。

  然而,正在基于梯度的进修框架(如深度进修)中存正在一个环节的错误谬误:由于选择要处置的消息的过程是离散化的,因而也就是不成微分的,所以梯度不克不及反向传布到选择机制中来支撑基于梯度的优化。目前研究人员正正在勤奋来处理视觉留意力、文本留意力,甚至更普遍的机械进修范畴内的这一错误谬误,这一范畴的研究仍然很是活跃。

  成果显示,HAN和AdaHAN方式正在具有挑和性的Visual QA数据集上的表示具备很强的合作力。我们的方式至多和更常见的soft attention方式的表示一样好,同时还提拔了计较的效率。hard attention方式对于越来越常见的non-local方式而言特别主要,这类方式凡是需要的计较量和存储器数量取输入向量的平方成反比。最初,我们的方式还供给了可注释的暗示,由于这种方式所选择的特征的空间位置取图像中最主要的部门形成最强的相关性。

  第二个版本称为自顺应硬留意力收集(Adaptive Hard Attention Network ,AdaHAN),它会按照输入选择可变数量的特征向量。我们的尝试成果表白,正在具有挑和性的Visual QA使命中,我们的算法现实上能够胜过雷同的soft attention架构。该方式还能生成可注释的hard attention masks,此中取被选中特征相关的图像意大利赌场域凡是包含正在语义上成心义的消息。我们的模子正在取非局部成对模子相连系时也表示出强大的机能。我们的算法通过成对的输入特征进行计较,因而正在特征图中的规模取向量数量的平方成反比,这也凸起了特征选择的主要性。

  硬留意力机制,它只保留了回覆问题所需的少量视觉特征。削减需要处置的特征使得可以或许锻炼更大的关系模子,并正在CLEVR上实现98.8%的精确率。

  我们利用规范化的Visual QA pipeline,操纵特征向量的L2-norms来选择消息的子集,以进行进一步处置。第一个版本称为硬留意力收集(Hard Attention Network, HAN),它能够选择固定命量的规范度最高的特征向量,对其对应的消息做进一步处置。

  要回覆关于特定图像的细节问题,这种使命就需要更复杂的推理模式。deepmind比来,用于处理视觉问答(Visual QA)使命的计较机视觉方式呈现了敏捷成长。成功的Visual QA架构必需可以或许处置多个方针及其之间的复杂关系,同时还要整合丰硕的布景学问,留意力已成为一种实现优良机能的、有前途的计较机视觉方面的策略。

  成果显示,即便是以很是简单的方式来顺应图像和问题,也能够导致计较和机能的提高,这表白更复杂的方式将是将来工做的主要标的目的。

  图4:我AdaHAN +成pairwise的其他成果。图中,被留意的雅加达娱乐城域凸起显示,助赢彩票不被留意的362娱乐城域则用暗色暗示。绿色暗示准确,红色不准确的谜底。 橙色暗示存正在部门共识。

  比拟之下,hard attention仅仅选择一部门消息,对其进行进一步处置,这一方式现正在曾经获得越来越普遍地利用。和soft attention机制一样,hard attention也有可能通过将计较沉点放正在图像中的主要部门来提高精确性和进修效率。但除此之外,hard attention的计较效率更高,由于它只对认为相关度最高的那部门消息做完全处置。

  正在颠末几层组合处置之后,我们将留意力放正在了空间位置上,就跟使用soft attention机制的先前工做一样。最初,我们利用sum-pooling或relational 模块聚合特征。我们用一个对应对案类此外尺度逻辑回归丧失来端到端地锻炼整个收集。

  本文中,我们切磋了一种简单的hard attention方式,它正在福利彩票双色球开奖神经收集(CNN)的特征暗示中激发风趣的现象:对于hard attention选择而言,已被进修过的特征凡是是易于拜候的。出格是,选择那些具有最大L2范数值的特征向量有帮于hard attention方式的实现,并表现出机能和效率上的劣势(见图1)。这种留意力信号间接来自尺度的监视使命丧失,而且不需要明白的监视取对象存正在、显著性或其他可能成心义的相关目标。

  成果显示,soft attention并不优于根基的sum polling方式。助赢彩票我们的成果虽然比state-of-the-art略差,但这可能是因为尝试中未包含的一些架构决策,例如分歧类型问题的分手龙都国际径,特殊问题嵌入和利用问题提取器( question extractor)。

  我们发觉,计较机视觉和机械进修中的留意力机制存正在很大的紫金娱乐城别,即软留意力(soft attention)和硬留意力(hard attention)。现有的留意力模子次要是基于soft attention的,所有消息正在被聚合之前会以自顺应的体例进行从头加权。如许能够分手出主要消息,并避免这些消息遭到不主要消息的干扰,从而提高精确性。跟着分歧消息之间彼此感化的复杂度的降低,进修就变得越无效。

  然后,我们对AdaHAN进行了尝试,AdaHAN自顺应地选择了attended cell的数量。我们也简要地研究了收集深度和预锻炼的影响。最初,我们给出了定性的成果,并供给了正在CLEVR数据集上的成果,以申明该方式的通用性。

  我们正在计较机视觉范畴引入了一种新的方式,能够选择特征向量的子集,以便按照它们的大小进行进一步处置。我们研究了两个模子,此中一个模子(HAN)会选择数目事后确定的向量的子集,另一个模子(AdaHAN)则自顺应地选择子集规模做为输入的函数。现有文献中经常避免提到hard attention,由于它不成微分,对基于梯度的方式提出了挑和。可是,我们发觉特征向量的大小取相关消息相关,hard attention机制能够操纵这个属性来进行选择。

  我们用CNN(正在这个例子中是预锻炼过的ResNet-101,或者从头起头锻炼的一个小型CNN)对图像进行编码,然后用LSTM将问题编码成固定长度的向量暗示。通过将问题暗示复制到CNN的每个空间位置来计较组合暗示,并将其取视觉特征毗连正在一大红鹰彩票网。

  视觉留意力正在很多方面都有帮于人类的复杂视觉推理。回覆新模子CLEVR精确率达988%例如,若是想要正在一群人中认出一只狗的仆人,人的视觉系统会自顺应地分派更多的计较资本来处置取狗和可能的仆人相联系关系的视觉消息,而非场景中的其他消息。感知结果长短常较着的,然而,留意力机制并不是计较机视觉范畴的变化性力量,deepmind这可能是由于很多尺度的计较机视觉使命,好比检测、朋分和分类,助赢彩票DeepMind提出视觉问题都没有涉及有帮于强化留意力机制的复杂推理。

  此中A是所有可能谜底的可数调集。就像常见的问题-回覆一样,问题是一个单词序列q = [q1,...,qn],而输出被简化为一组常见谜底之间的分类问题。我们用于从图像和问题中进修映照的架构如图2所示。

(责任编辑:admin)
顶一?
(0)
0%
踩一?
(0)
0%
------分隔?----------------------------