2018

Non-local Neural Networks

code: https://paperswithcode.com/paper/non-local-neural-networks

摘要：卷积操作和循环操作都是一次处理一个局部邻居的构建块。在本文中，我们将非局部操作作为一个用于捕获长期依赖关系的通用构造块族来提出。受计算机视觉中经典的非局部均值方法[4]的启发，我们的非局部操作计算一个位置的响应作为所有位置特征的加权和。这个构建块可以插入到许多计算机视觉架构中。在视频分类的任务中，即使没有任何花哨的功能，我们的非本地模型也可以在动力学和字谜数据集上竞争或超过当前的竞争获胜者。在静态图像识别中，我们的非局部模型改进了目标的检测/分割和姿态估计。

在这里插入图片描述

2019

ConnNet: A Long-Range Relation-Aware Pixel-Connectivity Network for Salient Segmentation

摘要：显著分割的目的，这是一项关键但具有挑战性的任务，也是许多高级计算机视觉应用的基础。它需要将语义感知的像素分组到显著的区域，并受益于利用全局多尺度上下文来实现良好的局部推理。以往的工作经常将其解决为两类分割问题，利用复杂的多步骤程序，包括细化网络和复杂的图形模型。我们认为，语义显著性分割可以通过重新定义为一个简单而直观的基于像素对的连接预测任务来有效地解决。根据显著对象可以通过相邻像素之间的语义感知连接来自然分组的直觉，我们提出了一个纯连接网络(ConnNet)。ConnNet通过利用嵌入在图像中的多级级级联上下文和长程像素关系来预测每个像素与其相邻像素的连通性概率。我们研究了在两个任务上我们的方法，即显著目标分割和显著实例分割，并说明通过将这些任务建模为连接，而不是各种网络架构的二值分割任务，可以获得一致的改进。我们实现了最先进的性能，优于或可与现有的方法相媲美，同时由于我们不那么复杂的方法而减少了推理时间。
在这里插入图片描述
论文的贡献：

我们说明了连接建模可以是一个很好的替代传统分割任务的显著分割。将我们的方法与为分割任务训练的相同架构进行比较，我们发现ConnNet在广泛的基准数据集上优于分割网络。
我们开发了一种显著对象分割的方法，该方法在几个数据集上优于以前的最先进的方法，但也由于其简单性，大大减少了推理时间。我们还将此思想扩展到实例级显著性分割的任务中。
我们研究了不同的像素连通性建模方法对整体性能的影响。

A Cost Effective Solution for Road Crack Inspection using Cameras and Deep Neural Networks

摘要： 路面裂缝自动检测是开发智能交通基础设施系统的一个重要研究领域。本文介绍了一种通过在移动车辆的后部安装商用级运动摄像机GoPro而实现的道路裂缝检测的经济有效的解决方案。同时，还提出了一种将条件瓦瑟斯坦生成对抗网络和连接图相结合的道路裂缝检测方法。该方法采用121层反褶积层的多层特征融合神经网络作为生成器，采用5层全卷积网络作为鉴别器。为了克服与反褶积层相关的分散输出问题，引入连通性图来表示提出的连接中的裂纹信息。所提出的方法在一个公开的数据集和我们收集的数据上进行了测试。结果表明，与现有的其他方法相比，该方法在精度、召回率和F1评分等方面都取得了最先进的性能。
在这里插入图片描述

2021

Vectorization of Historical Maps Using Deep Edge Filtering and Closed Shape Extraction

code: https://github.com/soduco/ICDAR-2021-Vectorization

摘要：几个世纪以来，地图一直是一种独特的知识来源。这些历史文献为分析景观在重要时间框架上的复杂空间变化提供了宝贵的信息。对于包含多个交叉研究领域（社会科学、经济等）的城市地区尤其如此。地图源的大量和显著的多样性需要自动图像处理技术，以提取矢量形状下的相关对象。地图的复杂性（文本、噪声、数字化工件等）几十年来阻碍了提出一种通用和高效的光栅到矢量方法的能力。我们提出了一个可学习的、可重复的和可重用的解决方案，用于将栅格映射自动转换为向量对象（积木、街道、河流）。它是建立在数学形态学和卷积神经网络的互补强度之上，通过有效的边缘滤波。此外，我们对ConnNet进行了修改，并结合深度边缘滤波体系结构，利用像素连接信息，构建了一个不需要任何后处理技术的端到端系统。在本文中，我们关注在多个数据集上的各种架构的综合基准，以及一个新的矢量化步骤。我们在一个使用COCO泛光度量的新公共数据集上的实验结果显示出非常令人鼓舞的结果，通过对我们的方法的成功和失败案例的定性分析得到证实。

BiconNet: An Edge-preserved Connectivity-based Approach for Salient Object Detection

code: https://github.com/Zyun-Y/BiconNets

摘要：传统的基于深度学习的方法将显著目标检测(SOD)视为一种像素级显著性建模任务。目前SOD模型的一个局限性是对像素间信息的利用不足，通常导致近边缘区域的分割不完善，空间相干性较低。正如我们所演示的，使用显著性掩码作为唯一的标签是次优的。为了解决这一局限性，我们提出了一种基于连通性的方法，称为双边连通性网络(BiconNet)，该方法使用连通性掩码和显著性掩模作为标签，以有效地对像素间关系和对象显著性进行建模。此外，我们提出了一种双边投票模块来增强输出的连通性图，以及一种新的边缘特征增强方法，有效地利用了边缘特定的特征。通过对5个基准数据集上的全面实验，我们证明了我们提出的方法可以插入任何现有的最先进的基于显著的SOD框架，以在可忽略参数增加的情况下提高其性能。

在这里插入图片描述

论文的贡献：

我们提出了一种基于连通性的SOD框架，称为BiconNet，以明确地建模像素连通性，增强边缘建模，并保持显著区域的空间相干性。BiconNet可以很容易地插入任何现有的SOD模型，参数增加可忽略。
我们提出了一种高效的、基于连接性的边缘特征提取方法，它可以直接强调网络输出中的边缘特定信息。我们还引入了一个新的损失函数，Bicon损失，以进一步提高边缘特征的利用，并保持输出的空间一致性。
我们用七个最先进的SOD模型的骨干来构建biconnet。通过将这些双网络网络与相应的基线进行比较，我们表明，我们的模型在使用不同评估指标的五个广泛使用的基准测试上优于后一个模型。