我的位置:首页 >> 冷却系统

论与生物大脑的相似性,哪家人工神经网络最强?晶闸管

发布时间:2022-09-26 16:12:24 来源:盛世机械网

论与生物大脑的相似性,哪家人工神经网络最强?

人工神经网络的终极目标应当是能够完全模拟生物神经网络。而随着ANN的不断发展,已然呈现出了许多性能优秀的模型。由MIT、NYU、斯坦福等众多著名大学研究人员组成的团队,便提出了brain-score系统,对当今主流的人工神经网络进行评分排名。本文便带读者了解一下在众多人工神经网络中,最为贴近生物神网络的那些ANN。

人工神经网络(ANN)总是会与大脑做比较。

虽然ANN发展到现在也无法完全模拟生物大脑,但是技术是一直在进步的。那么问题来了:

论与生物大脑的相似性,哪家人工神经网络最强?

在功能方面与大脑最相似的神经网络,将包含与大脑最近似的机制。因此,MIT、NYU、斯坦福等众多知名大学联手开发了“大脑评分”(brain - score)。

这是一种综合了多种神经和行为基准的测试方法,可以根据神经网络与大脑核心对象识别机制的相似程度对其进行打分,并用这个方法对最先进的深层神经网络进行评估。

使用该评分系统,得到的结果如下:

DenseNet- 169, CORnet-S和ResNet-101是最像大脑的ANN

任何人工神经网络都无法预测到神经和行为响应之间存在的变异性,这表明目前还没有一个人工神经网络模型能够捕捉到所有相关的机制

扩展之前的工作,我们发现ANN ImageNet性能的提高导致了大脑得分的提高。然而,相关性在ImageNet表现为70%时减弱,这表明需要神经科学的额外指导才能在捕获大脑机制方面取得进一步进展

比许多较小(即不那么复杂)的ANN,比表现最好的ImageNet模型更像大脑,这意味着简化ANN有可能更好地理解腹侧流(ventral stream)。

大脑的基准

以下是对衡量模型基准的概述。基准由一组应用于特定实验数据的指标组成,在这里可以是神经记录或行为测量。

神经(Neural)

神经度量的目的是确定源系统(例如,神经网络模型)的内在表征与目标系统(例如灵长类动物)中的内在表征的匹配程度。 与典型的机器学习基准测试不同,这些指标提供了一种原则性的方式来优先选择某些模型(即使它们的输出相同)。 我们在此概述了一个常见的度量标准——神经预测性,它是线性回归的一种形式。

神经预测:图像级神经一致性

神经预测性用于评估源系统(例如,深度ANN)中给定图像的响应对目标系统中的响应(例如电镀槽,视觉区域IT中的单个神经元响应)的预测程度。 作为输入,该度量需要两个刺激×神经元这种形式的集合,其中神经元可以是神经记录或模型激活。

首先,使用线性变换将源神经元映射到每个目标神经元,这个映射过程是在多个刺激的训练-测试分割上执行的。

在每次运行中,利用训练图像使权重适应于从源神经元映射到目标神经元,然后利用这些权重预测出的响应得到held-out图像。

为了获得每个神经元的神经预测性评分,通过计算Pearson相关系数,将预测的响应与测量的神经元响应进行比较。

计算所有单个神经类神经预测值的中位数(例如,在目标大脑区域测量的所有目标位置),以获得该训练-测试分割的预测得分(因为响应通常非正常地分布,所以使用中值)。所有训练-测试分割的平均值即目标大脑区域的最终神经预测得分。

神经记录

目前这个版本的大脑评分中包含的两个神经基准,其使用的神经数据集包括对88个V4神经元和168个IT神经元的2,560个自然刺激神经响应(如图1):

图1 大脑评分概述使用两类指标来比较神经网络:神经指标将内部活动与macaque腹侧流区域进行比较,行为指标比较输出的相似性。对于小的、随机组合的模型(灰点),大脑得分与ImageNet的性能相关,但是对于当前最先进的模型(绿点)来说,其性能在70%的前1级变得很弱。

该图像集由2560张灰度图像组成,分为八个对象类别(动物、船只、汽车、椅子、人脸、水果、平面、桌子)。每个类别包含8个独特的对象(例如,“face”类别有8张独特的脸)。图像集是通过在自然主义背景上粘贴一个3D对象模型生成的。在每个图像中,随机选择对象的位置,姿势和大小,以便为灵长类动物和机器创建具有挑战性的物体识别任务。 每个图像都使用了圆形掩模。

行为

行为基准的目的是在任何给定任务中计算源(例如,ANN模型)和目标(例如,人类或猴子)的行为响应之间的相似性。对于核心对象识别任务,灵长类动物(包括人类和猴子)表现出与ground-trut地毯h标签不同的行为模式。因此,这里的主要基准是一个行为响应模式度量,而不是一个全面的准确性度量。ANN能够生成和预测灵长类动物的成功和失败模式,因此可以获得更高的分数。这样做的一个结果是,达到100%准确率的ANN不会达到完美的行为相似性评分。

I2n:标准化的图像级行为一致性

总量为i 的图像数据源(模型特征)首先使用可用的行为数据转换为目标类别c和图像ib的一个矩阵ib×c。

灵长类动物的行为数据

当前一轮基准测试中使用的行为数据是从Rajalingham等人与2015和2018年的研究论文中获得的。这里我们只关注人类行为数据,但是人类和非人类灵防雷插座长类动物行为模式非常相似。

此数据收集中使用的图像集与V4的图像生成方式类似,并且使用了24个对象类别。数据集总共包含2,400个图像(每个对象100个)。在这个基准测试中,我们使用了240张(每个物体10张)获得最多试验的图像。1472名人类观察者对亚马逊土耳其机器人提供的图像进行了简短的响应。在每次试验中,一幅图像呈现100毫秒,然后是有两个响应选择,一个对应于图像中出现的目标对象,另一个是其余23个对象。参与者通过选择图像中呈现的对象来响应。因此,对于每一个target-distractor对儿,从多个参与者中共获得了超过三十万的响应。

大脑得分

为了评估一个模型整体表现的好坏,我们将神经V4预测得分、神经IT预测得分和行为I2n预测得分做一个组合计算来得到大脑评分。这里给出的脑分数是这三个分数的平均值。这种方法不能通过不同的分数尺度进行标准化,因此它可能会惩罚低方差的分数,但它也不会对分数的显著差异做出任何假设,这些差异会出现在排名中。

实验结果

该团队检查了大量在ImageNet上训练的深层神经网络,并将它们的内在表征与V4、IT和人类行为测量中的非人类视觉皮层区域的神经记录进行了比较。

最先进的排名

表1 总结了每个模型在大脑基准测试范围内的得分

相对于ImageNet性能的大脑得分如图1所示。在目前的基准测试中,最强的模型是DenseNet-169,其大脑得分为549,紧随其后的是CORnet-S和ResNet-101,其大脑得分分别为544和542。 目前来自机器学习社区的ImageNet上的顶级模型都来自DenseNet和ResNet系列模型。 DenseNet-169和ResNet-101也是IT神经预测和行为预测性得分最高的模型之一,IT分数为0.604(DenseNet-169,图层conv5_block16_concat)和行为得分为ResNet-101。

个人神经和行为基准的得分

以往的研究发现,分类性能较高的模型更容易预测神经数据。 在这里,我们通过证明这种性能驱动的方法在广泛的ImageNet性能体系中在多个深度神经网络上进行评估时,广泛意义上扩展了这项工作,但是在达到人类性能水平时未能产生与大脑完全匹配的网络( 见图1)。

在个人得分上,ImageNet的表现与大脑得分的相关性有很大的差异(图2)。例如,V4单站点响应最好不仅是由VGG-19(ImageNet top-1性能71.10%)预测出来的,而且还有Xception(79.00%top-1)。 同样,IT单站点响应最好是由DenseNet-169(.606; 75.90%top-1)预测出来的,但即使是BaseNets(.592; 47.64%top-1)和MobileNets(.590; 69.80%top-1)也是非常接近相同的IT神经预测评分。

图2 所有模型对神经和行为基准的预测性

相比之下,ImageNet性能和行为预测性之间的相关性依然强劲,AlexNet(57.50%排名前1)或BaseNets的表现远远低于最佳模型。然而,行为得分上表现最好的模型并不是ImageNet上最先进的模型:ResNet-101在行为得分(.389)上排名最高,但是ImageNet排名前1的表现为77.37%。 PNASNet实现了更高的ImageNet性能(82.90%排名前1),但行为得分显着降低(.351)。

事实上,I地址簿mageNet前1名表现与行为评分之间的相关性似乎正在削弱,模型在ImageNet上表现良好,与行为得分几乎没有关联,这表明通过继续努力推动ImageNet,可能无法实现与行为数据更好的一致性。

我们使用神经预测性评估区域V4和IT以及使用I2n的行为记录。 目前最好的型号是:V4上的VGG-19,IT上的DenseNet-169和行为上的ResNet-101。 值得注意的是,DenseNet-169,CORnet-S和ResNet-101是所有三个基准测试的强大模型。 V4为0.892,IT为0.817,行为为.497。

通过定期更新大脑数据的大脑评分来评估和跟踪模型基准的对应关系可以让这个系统更加完善。因此,该团队发布了Brain-Score.org,一个承载神经和行为基准的平台,在这个平台上,可以提交用于视觉处理的ANN,以接收大脑评分及其相对于其他模型的排名,新的实验数据可以自然地纳入其中。

神经网络
相关阅读
金银墨及其印刷技术要点下排风管榆林衣柜人造草坪白酒加盟Rra

金银墨及其印刷技术要点(下)四、金银墨印刷工艺设计注意事项设计一个好的版面,在考虑承印材料的类型以及印刷工艺的不同时,还要充分注意到金、银墨的特点和印刷适性,扬长避短,使之发挥

03月20日 18:05
9月26日亚洲现货橡胶价格大幅下跌滚珠轴承电熨斗废不锈钢防雷设备雪花机Rra

9月26日亚洲现货橡胶价格大幅下跌当患者遭到外界冷热温差的影响时 综合媒体9月26日消息,亚洲现货橡胶价格周一(9月26日)大幅下跌,追随TOCOM市场及沪胶跌势。一新加坡交易商称,市场存在需求,

03月14日 04:03
轧钢厂危险场所划分及安全措施黄油枪建瓯民族服装面具相框Rra

轧钢厂危险场所划分及安全措施b.根据GBJ58—83《爆炸的火灾危险场所电力装置设计规范》确定为Q—1、Q—2级气体或蒸汽爆炸性混合物和G—1、G—2级粉尘或纤维爆炸性混合物的爆炸危险场所;c.接触毒

03月13日 19:37
黑龙江鸡西七台河两地四报印刷业合作签约假山侯马庆典用花悬挂链废镍Rra

黑龙江鸡西七台河“两地四报”印刷业合作签化纤坯布约2008年8月17日下午,鸡西、七台河、鸡西矿工报、七台河矿工报四家媒体共同签署了 两地四报机床护罩 印刷业合作协议。这标志着鸡西市与七

03月13日 18:16
华为举办首期渠道精英荟打造合作伙伴精英队拉帽专业电源氧化镁光纤光缆帆布鞋Rra

华为举办首期渠道精英荟 打造合作伙伴精英队伍华为于5月13日在北京举办2014年第一期渠道精英荟。本次活动精英荟萃,嘉宾们来自数十家合作伙,针对华为渠道服务中的实践经验和服务政策进行了

03月13日 15:22
最火一哥水性胶以绿色环保亮相广州鞋类皮革展音频插头流程泵触控产品童装集成吊顶Frc

一哥水性胶以“绿色晚礼服环保”亮相广州鞋类皮革展作为胶1、高份子聚合物的拉伸性能粘剂行业的龙头品牌,东方树脂参加了第22届广州国际鞋类、皮革及工业设备展,与往届不同的是,去年下半

03月12日 19:39
友情链接: 试验机 订做西装 离婚律师 广州类风湿专科 药品库 上海离婚法律师咨询 诉讼离婚律师在线 工作服门户 灰指甲可以通过什么途径传染 亮甲可以治手指甲真菌吗 寻医问药 厦门肛肠医院 上海离婚官司 德阳肛肠专科医院哪家好 涉外离婚咨询 龙岩肿瘤医院哪家好 深圳最强离婚律师 天水治疗妇科专科医院 武威牛皮癣 解散清算 Function 今时兄弟 重庆定做工作服 Rockwell Tester Auto Parts 寻医问药 昆明治疗甲状腺哪个医院好 广东哪个医院治疗银屑病好 北京不孕不育好的医院 南京哪里男科医院好 贵州哪个医院看癫痫病好 青逸网 Products