先贴一篇讲的比较全的
http://www.cnblogs.com/dudumiaomiao/p/6560841.html
http://blog.csdn.net/myarrow/article/details/51878004
一 全连接层
1.整体的结构框图
2.全连接层的推导:
转自如下链接
http://blog.csdn.net/daydayup_668819/article/details/59486223
3。全连接层的具体含义:
全连接层(fully connected layers,FC)在整个卷积神经网络中起到“分类器”的作用。如果说卷积层、池化层和激活函数层等操作是将原始数据映射到隐层特征空间的话,全连接层则起到将学到的“分布式特征表示”映射到样本标记空间的作用。在实际使用中,全连接层可由卷积操作实现:对前层是全连接的全连接层可以转化为卷积核为1x1的卷积;而前层是卷积层的全连接层可以转化为卷积核为hxw的全局卷积,h和w分别为前层卷积结果的高和宽。
卷积层模仿人的视觉通路提取特征,全连接层一般负责分类或者回归,由于全连接层会丢失一些特征位置信息,所以最近FCN火了起来,全部卷积层,不用全连接层。
转自:https://www.zhihu.com/question/41037974/answer/150522307
全连接的核心操作就是矩阵向量乘积
本质就是由一个特征空间线性变换到另一个特征空间。目标空间的任一维——也就是隐层的一个 cell——都认为会受到源空间的每一维的影响。不考虑严谨,可以说,目标向量是源向量的加权和。
在 CNN 中,全连接常出现在最后几层,用于对前面设计的特征做加权和。比如 mnist,前面的卷积和池化相当于做特征工程,后面的全连接相当于做特征加权。(卷积相当于全连接的有意弱化,按照局部视野的启发,把局部之外的弱影响直接抹为零影响;还做了一点强制,不同的局部所使用的参数居然一致。弱化使参数变少,节省计算量,又专攻局部不贪多求全;强制进一步减少参数。少即是多)
在 RNN 中,全连接用来把 embedding 空间拉到隐层空间,把隐层空间转回 label 空间等。
2. RoI的输入输出
ROI pooling 层:
roi的主要目的还是从feature map上抠出感兴趣区域,然后pooling。
为什么要做pooling呢?因为只要pooling出来了最大值,那么不管这个最大值在图片中的哪个位置,都会被检测出来,也就引入了不变性。
注意;pooling的尺度是不一样的,比如可以设置成9*9的,4*4的,最后都卷积为一个值。
pooling的连接: http://www.cnblogs.com/573177885qq/p/6071646.html
三 rpn
转自:http://www.cnblogs.com/EstherLjy/p/6774848.html
RPN的实现方式:在conv5-3的卷积feature map上用一个n*n的滑窗(论文中作者选用了n=3,即3*3的滑窗)生成一个长度为256(对应于ZF网络)或512(对应于VGG网络)维长度的全连接特征。然后在这个256维或512维的特征后产生两个分支的全连接层:1.reg-layer,用于预测proposal的中心锚点对应的proposal的坐标x,y和宽高w,h;2.cls-layer,用于判定该proposal是前景还是背景。sliding window的处理方式保证reg-layer和cls-layer关联了conv5-3的全部特征空间。事实上,作者用全连接层实现方式介绍RPN层实现容易帮助我们理解这一过程,但在实现时作者选用了卷积层实现全连接层的功能。个人理解:全连接层本来就是特殊的卷积层,如果产生256或512维的fc特征,事实上可以用Num_out=256或512, kernel_size=3*3, stride=1的卷积层实现conv5-3到第一个全连接特征的映射。然后再用两个Num_out分别为2*9=18和4*9=36,kernel_size=1*1,stride=1的卷积层实现上一层特征到两个分支cls层和reg层的特征映射。注意:这里2*9中的2指cls层的分类结果包括前后背景两类,4*9的4表示一个Proposal的中心点坐标x,y和宽高w,h四个参数。采用卷积的方式实现全连接处理并不会减少参数的数量,但是使得输入图像的尺寸可以更加灵活。
最后贴一个cs231n学习笔记:http://blog.csdn.net/myarrow/article/details/51878004
文章浏览阅读2.1w次,点赞10次,收藏47次。文章目录一、 什么是工作流二、 工作流技术的优点三、 Java开发者会为什么要学Activity工作流四、 Activity工作流学习要点1、1个插件2、1个引擎3、1个配置文件4、5种数据库表5、23张表6、5项Service7、7项基本操作一、 什么是工作流以请假为例,现在大多数公司的请假流程是这样的员工打电话(或网聊)向上级提出请假申请——上级口头同意——上级将请假记录下来——月底将请假记录上交公司——公司将请假录入电脑采用工作流技术的公司的请假流程是这样的员工使用账户登录系统——点击请假—_activity工作流
文章浏览阅读594次。#include #include #include#includeusing namespace std; class Student //通过定义一个类来定义数据录入的函数 { char name[20]; char number[20]; float maogai,modian,shudian,cpp,english,average,sum; int ta_c++课程作业
文章浏览阅读985次,点赞16次,收藏19次。本篇博客介绍了力扣经典150题中的第四十二题:字母异位词分组。题目要求将给定的字符串数组中的字母异位词分组,并返回分组结果。输入: strs = [“eat”, “tea”, “tan”, “ate”, “nat”, “bat”],将其中字母异位词(由重新排列源单词的所有字母得到的新单词)组合在一起,最终返回分组后的结果列表。输出: [[“bat”],[“nat”,“tan”],[“ate”,“eat”,“tea”]]的长度,k 是字符串的最大长度。展示了几个不同的示例测试,验证了字母异位词分组的功能。
文章浏览阅读2.4k次。@RunWith(SpringRunner.class)因为缺乏pom文件里Junit依赖导致。解决方法:在pom.xml里添加以下依赖<dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-test</artifactId> <scope>test</scope> </_springrunner.class报错
文章浏览阅读264次。boost/lexical_cast.hpp的简单使用方法_行动_新浪博客 boost/lexical_cast.hpp的简单使用方法_行动_新浪博客 boost/lexical_cast.hpp的简单使用方法 (2010-03-19 16:31:13)..._boost/lexical_cast.hpp
文章浏览阅读815次,点赞10次,收藏17次。4.2.如果是server2008,那么首先检查RAID是否配好,然后准备另外一个U盘,我们命名为U盘2,把阵列卡驱动放到U盘2中,插在服务器上,此时服务器插着两个U盘,一个是启动盘,一个是U盘2,在看到以上提示时,我们点击Load driver,然后如下图,点击浏览Browse,然后找到阵列卡驱动路径,一般是一个EXE可执行文件,选好后,下一步即可。2.以防步骤1中硬盘与服务器连接有问题,那么在服务器完全关机且切断电源的情况下,需要将硬盘拔下清理灰尘,在重新插上,然后上电开机。配置,而要 Import!_dell s150阵列
文章浏览阅读229次。转:http://blog.sae.sina.com.cn/archives/981按:这几天我一直在写这篇东西,本来是胸有成竹,没想到后来越写越发现自己在这个题目下有太多话想说,而以我现在的能力又不能很好地概括总结,以至于越写越长,文章结构也变得混乱,到后来修改的时候每次都要考虑好久才能下笔,所以决定拆成两部分来发,以便阅读。这篇写得我心力交瘁,质量不算好,凑合着看吧。同样是写程序..._研发和开发
文章浏览阅读1.6k次。1.关于进程守护无非就是6.0以下,6.0以上的高版本保活a.android中6.0以下的保护采用双线程守护即可是aidl (1)创建aidl文件 interface IServiceAidlInterface { String getServiceName(); } (2)创建本地service是LocalService类实现aid..._jobintentservice跨进程
文章浏览阅读657次。FastGithub:github加速神器,解决github打不开、用户头像无法加载、releases无法上传下载、git-clone、git-pull、git-push失败等问题。_fastgithub 程序将自动关闭:系统已运行其它实例
文章浏览阅读1.7w次,点赞8次,收藏26次。C++中提供了自动删除空格和标点符号的函数,使用如下:#include #include str_testing.erase( remove_if ( str_testing.begin(), str_testing.end(), static_cast(&ispunct) ), str_testing.end()); str_testing.erase( _ctype.h去除空格
文章浏览阅读7.2k次,点赞9次,收藏80次。此电路由AT89C51最小系统、12864显示模块和独立按键组成。可实现类似俄罗斯方块的游戏。_基于51单片机俄罗斯方块
文章浏览阅读4k次。# **企业微信授权配置教程**## **1.创建企业微信应用*** 注册进入企业微信后台 https://work.weixin.qq.com/![](https://img.kancloud.cn/97/7b/977b19f10dcc10d42d70f14503b79d2a_1920x881.png)>[danger] ## **请先关闭自动欢迎语【重要】 设置欢迎语或直接导致无法收到*..._中石油企业微信 组织机构域