SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness-程序员宅基地

技术标签： 机器学习  计算机视觉  人工智能  

SuperFusion

SuperFusion: A Versatile Image Registration and Fusion Network with Semantic Awareness

具有语义感知的多功能图像配准与融合网络

背景：

现有的融合仅适用于配准后的图像，输入图像发生微小偏移或形变时，融合结果会出现伪影，忽略深层语义特征。提出将配准和融合放进同一个框架
融合网络框架

贡献、总结

  1. 图像配准、图像融合和高层语义需求统一建模到一个框架中，这是第一个充分考虑图像配准的图像融合方法；

  2. 对称双向图像配准，有效地进行多模态图像对齐，对称性使融合和配准相互促进进行；

  3. 引入语义分割的约束，促使融合网络响应高层视觉任务的需求，嵌入全局空间注意力，实现自适应特征融合；

  4. 总结：三个部分组成，图像配准、融合、分割。
    首先，设计配准网络估计双向形变场，以便使用光度和端点损失来提高精度。联合配准融合方案，平衡对输入模态的偏差，在融合域中通过相似性约束进一步促进配准。Lovasz-Softmax损失，促进融合网络生成结果更合理；

实验

数据集，MSRS、RoadScene与DASC、RIFT、GLU-Net、UMF-CMGR、Cross RAFT进行配准对比。
合成未配准影像
1.对红外图像合成随机仿射、弹性变换
2.对可见光图像合成随机仿射、弹性变换 合成未配准的影像
对于图像融合：MI，VIF，SSIM，FMI,Qabf，（评价指标）
分割实验，采用SeAFusion的分割模型 对多种方法得到的融合图像进行分割

配准可视化

紫色纹理为配准后红外图像的梯度，背景为对应的地面真实
配准可视化

融合可视化

融合可视化

方法：

  1. Dense Matcher用于估计形变场
  2. Fusion Network用于将配准后的图像和另一副图像融合
  3. Segmentation Network用于分割融合后的图像
  4. 进行双向配准，双向配准融合后的影像应该是一致的。Consistency Constraint双向优化配准和融合
    Iir’是合成的红外影像
    Ivi’是合成的可见光影像
    整体框架

Dense Matcher结构

输入是待配准的成对影像,第一层是共享的CNN，2、3、4层是不共享的CNN，多尺度的特征图可以学到不同大小的形变。Flow Esimator是粗略的光流估计器
DenseMatcher

融合网络

采用双编码器提取特征，使用全局注意力机制，让特征自适应融合。
GSAM是个全局注意力机制，用四方向的RNN得到上下文特征
Fusion Network

分割网络

分割网络是这篇论文作者的另一篇论文SeAFusion的分割部分

损失函数

  1. 配准损失
    请添加图片描述
    L1损失函数，光度损失，配准后Ireg应该与原始I一致
    在这里插入图片描述
    端点损失，L2损失可以放大两者之间的差异，应用于两者之间的差异很小的情况
    在这里插入图片描述
    一致性损失，红外配准到光学的f1，应该和光学配准到红外的f2一致
    在这里插入图片描述
  2. 融合损失
    在这里插入图片描述
    结构损失，指导融合网络保留结构信息
    在这里插入图片描述
    纹理损失，融合图像的梯度与源图像最大梯度聚合之间的误差，倒三角是Sobel gradient operator
    在这里插入图片描述
    融合强度信息，保留显著特征。设计了一个强度最大化损失LInt来指导融合网络自适应地融合源图像的强度信息（看着比较显著的信息）
    在这里插入图片描述
    融合损失=纹理+结构+强度
  3. 分割损失
    在这里插入图片描述
    IoU损失的差分替代Lovasz - Softmax损失
    在这里插入图片描述
    分割损失，seg1和GT，seg2和GT
  4. 总损失
    在这里插入图片描述
    总损失=配准+融合+分割，共同优化

Thinking

双向配准以及一致性损失的利用，对配准和融合都有很好的效果。如果融合的目的是用于分割，增加用于分割的语义约束，可以生成更有利于分割的融合效果

L1损失函数和L2损失函数的用处：
任务中预测值与真实值差异不大的时候用L2来放大差异
由于L1 梯度在极值点会发生跃变，并且很小的差异也会带来很大的梯度，不利于学习，在使用L1时通常会设定学习率衰减策略
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42489272/article/details/134123515

智能推荐

BAT批处理创建文件桌面快捷方式_批处理创建桌面快捷方式-程序员宅基地

文章浏览阅读1.5w次，点赞9次，收藏26次。简介一个创建某个文件到桌面快捷方式的BAT批处理.代码@echooff::设置程序或文件的完整路径（必选）setProgram=D:\Program Files (x86)\格式工厂.4.2.0\FormatFactory.exe::设置快捷方式名称（必选）setLnkName=格式工厂v4.2.0::设置程序的工作路径，一般为程序主目录，此项若留空，脚本将..._批处理创建桌面快捷方式

射频识别技术漫谈（6-10）_芯片 ttf模式-程序员宅基地

文章浏览阅读2k次。射频识别技术漫谈（6-10），概述RFID的通讯协议；射频ID卡的原理与实现，数据的传输与解码；介绍动物标签属性与数据传输；RFID识别号的变化等_芯片 ttf模式

Python 项目实战 —— 手把手教你使用 Django 框架实现支付宝付款_django 对接支付宝接口流程-程序员宅基地

文章浏览阅读1.1k次。今天小编心血来潮，为大家带来一个很有趣的项目，那就是使用 Python web 框架 Django 来实现支付宝支付，废话不多说，一起来看看如何实现吧。_django 对接支付宝接口流程

Zabbix 5.0 LTS在清理历史数据后最新数据不更新_zabbix问题没有更新-程序员宅基地

文章浏览阅读842次。Zabbix 5.0 LTS，跑了一年多了一直很稳定，前两天空间显示快满了，于是手贱清理了一下history_uint表（使用mysql truncate），结果折腾了一周。大概故障如下：然后zabbix论坛、各种群问了好久都没解决，最后自己一番折腾似乎搞定了。初步怀疑，应该是由于历史数据被清空后，zabbix需要去处理数据，但是数据量太大，跑不过来，所以来不及更新了（？）..._zabbix问题没有更新

python学习历程_基础知识（2day）-程序员宅基地

文章浏览阅读296次。一、数据结构之字典 key-value

mybatis-plus字段策略注解strategy_mybatisplus strategy-程序员宅基地

文章浏览阅读9.7k次，点赞3次，收藏13次。最近项目中遇到一个问题，是关于mybatis-plus的字段注解策略，记录一下。1问题调用了A组件（基础组件），来更新自身组件的数据，发现自己组件有个字段总是被清空。2原因分析调用的A组件的字段，属于基础字段，自己业务组件，对这个基础字段做了扩展，增加了业务字段。但是在自己的组件中的实体注解上，有一个注解使用错误。mybatis-plus封装的updateById方法，如果..._mybatisplus strategy

随便推点

信息检索笔记-索引构建_为某一文档及集构件词项索引时,可使用哪些索引构建方法-程序员宅基地

文章浏览阅读3.8k次。如何构建倒排索引，我们将这个过程叫做“索引构建”。如果我们的文档很多，这样索引就一次性装不下内存，该如何构建。硬件的限制 我们知道ram读写是随机的操作，只要输入相应的地址单元就能瞬间将数据读出来或者写进去。但是磁盘不行，磁盘必须有一个寻道的过程，外加一个旋转时间。那么只有涉及到磁盘，我们就可以考虑怎么节省I/O操作时间。【注】操作系统往往以数据块为单位进行读写。因为读一_为某一文档及集构件词项索引时,可使用哪些索引构建方法

IT巨头英特尔看好中国市场前景-程序员宅基地

文章浏览阅读836次。英特尔技术与制造事业部副总裁卞成刚7日在财富论坛间隙接受中新社记者采访时表示，该公司看好中国市场前景，扎根中国并以此走向世界是目前最重要的战略之一。卞成刚说，目前该公司正面临战略转型，即从传统PC服务领域扩展至所有智能设施领域，特别是移动终端。而中国目前正引领全球手机市场，预计未来手机、平板电脑等方面的发明创新将大量在中国市场涌现，并推向全球。持相同态度的还有英特尔中国区执行董事戈峻。戈峻

ceph中的radosgw相关总结_radosgw -c-程序员宅基地

文章浏览阅读627次。https://blog.csdn.net/zrs19800702/article/details/53101213http://blog.csdn.net/lzw06061139/article/details/51445311https://my.oschina.net/linuxhunter/blog/654080rgw 概述Ceph 通过radosgw提供RES..._radosgw -c

前端数据可视化ECharts使用指南——制作时间序列数据的可视化曲线_echarts 时间序列-程序员宅基地

文章浏览阅读3.7k次，点赞6次，收藏9次。我为什么选择ECharts ? 本周学校课程设计，原本随机佛系选了一个51单片机来做音乐播放器，结果在粗略玩了CN-DBpedia两天后才回过神，课设还没有开始整。于是懒癌发作，碍于身上还有比赛的作品没交，本菜鸡对硬件也没啥天赋，所以就直接把题目切换成软件方面的题目。写python的同学选择了一个时间序列数据的可视化曲线程序设计题目，果真python在数据可视化这一点性能很优秀。..._echarts 时间序列

ApplicationEventPublisherAware事件发布-程序员宅基地

文章浏览阅读1.6k次。事件类：/** * * 　 * @className: EarlyWarnPublishEvent * 　　* @description:数据风险预警发布事件 * 　　* @param: * 　　* @return: * 　　* @throws: * 　　* @author: lizz * 　　* @date: 2020/05/06 15:31 * */public cl..._applicationeventpublisheraware

自定义View实现仿朋友圈的图片查看器，缩放、双击、移动、回弹、下滑退出及动画等_imageview图片边界回弹-程序员宅基地

文章浏览阅读1.2k次。如需转载请注明出处！点击小图片转到图片查看的页面在Android开发中很常用到，抱着学习和分享的心态，在这里写下自己自定义的一个ImageView，可以实现类似微信朋友圈中查看图片的功能和效果。主要功能需求：1.缩放限制：自由缩放，有最大和最小的缩放限制 2居中显示：.若图片没充满整个ImageView，则缩放过程将图片居中 3.双击缩放：根据当前缩放的状态，双击放大两倍或缩小到原来 4.单指_imageview图片边界回弹

推荐文章

热门文章

相关标签