A Large-Scale Dataset for Fish Segmentation and Classification
Oguzhan Ulucan, Diclehan Karakaya, Mehmet Turkan
Department of Electrical and Electronics Engineering
Izmir University of Economics, Izmir, Turkey
{oguzhan.ulucan, diclehan.karakaya, mehmet.turkan}@ieu.edu.tr
0.摘要
在零售环节和生产环节的包装过程中对海鲜的质量进行详细评估，以避免腐败，腐败会导致严重的人体健康问题和经济损失。由于海鲜中的疾病和腐烂在不同的物种中表现出不同的症状，因此首先需要对物种进行分类。在该领域中，基于机器学习和图像处理的系统可以克服当前费力且缓慢的传统方法的不足，其呈现快速且精确的结果。为了设计这样的系统，需要实用和合适的数据集。然而，大多数公开的数据集并不适合上述目的。这些数据集要么包含水下拍摄的图像，要么包含通常不(广泛)食用的海鲜。在这项研究中，形成了一个实用的大数据集，其中包含土耳其爱琴海地区广泛消费的九种不同的海鲜。此外，基于不同分类方法的综合实验被执行以分析该收集的数据集的可用性。实验结果显示了非常有希望的结果；因此，该数据集将公开提供给该研究领域的进一步研究。
1.介绍
海鲜是几种菜肴的主要成分，尤其是在海滨国家，因为它的味道和它所含的营养成分。此外，根据联合国粮食及农业组织的数据，全球鱼类消费量每年增长20公斤以上。因此，对于食品行业来说，满足消费者的需求并在有限的时间内提供高质量的产品变得更加困难。因此，为了防止经济损失和满足顾客的期望，避免海鲜腐败变得更加重要。检测腐败和疾病的传统方法，即在实验室分析食品样品，既费力又耗时。此外，当专家试图通过他们过去的经验通过视觉来检测腐败时，通常会做出主观的决定，例如，这可能会导致腐败的海鲜留在超市柜台出售。开发一个客观、快速和健壮的自动化系统可以解决检测损坏的问题，并将降低供应商的经济负担。事实上，当鱼类开始发病并开始变质时，它们通常会表现出不同的症状。因此，鱼类的自动分类在区分鲜鱼和变质的鱼以及识别这些不同物种的疾病之前。
文献中有大量的研究，这些研究使用不同的数据集通过不同的算法来区分鱼类物种。在基于特征的鱼类分类系统中，特征提取部分是多样的，常用的特征是从鱼类纹理，大小和形状中获得的。例如，在中用于识别鱼的年龄的研究中，通过基于支持向量机(SVMs)的分类器，提取了鱼石形态特征，并将它们的成功率与性别、长度和重量特征进行了比较。实验结果表明，综合这些特征，分类准确率可达75%。除了基于特征的方法，在鱼类识别任务中也使用不同的技术进行分类。在中，在巴基斯坦收集了一个包含六种不同鱼类(草鱼、鲤鱼、毛利鱼、罗胡鱼、鲢鱼、泰拉鱼)的数据集。数据集中的每个类都包含三种主要的鱼类特征(身体、鳞片和头部)，图像数量不同。卷积神经网络被用来从鱼的身体图像中分类鱼。在的另一项研究中，研究人员开发了一种通过深度学习从水下图像识别鱼类品种的模型。当选择中枢神经系统从渔业知识数据集中提取特征时，支持向量机和K-最近邻(KNN)被用于分类任务。该分类方法在支持向量机和KNN分类器上均获得成功，准确率分别为98.32%和98.79%
鱼类分类研究中的一个重要挑战是缺乏包含常用鱼类图像样本的公开数据集。现有的数据集包含水下拍摄的鱼类图像，由通常不食用的鱼类组成。这些数据集大多为海洋生物学家、科学家和研究人员提供数据；因此，它们实际上不适用于食品质量评估问题。据我们所知，没有公开的数据集包含零售的海鲜和鱼。这项研究满足了这样一个数据集的需要，该数据集包含从一家超市的鱼柜台收集的八种不同鱼类(通常在土耳其爱琴海地区消费)和虾的图像样本。此外，还会执行全面的分类任务来分析该数据集的可用性。详细地说，本文通过支持向量机，利用灰度共生矩阵、矩、特征包和核神经网络特征，通过语义分割和基于特征的分类，给出了数据集的分析结果。
详细分析这个数据集将为未来的研究提供指导，因为它展示了所采用的方法在海鲜分割和分类任务中的成功率。此外，所收集的数据集及其基本事实(手动提取的)分割掩模将公开用于研究目的，这是本研究的主要贡献之一。论文的其余部分组织如下。第二部分介绍了收集的数据集的细节，然后演示了实验设置和结果。第三节以一个简短的总结结束了这项研究。
2.实验装置和结果
2.1数据集
从一家超市的鱼柜台上收集了九种不同海鲜的图片。数据集采集过程中使用了两台相机，一台是柯达Easyshare Z650，一台是三星ST60，空间分辨率分别为2832 × 2128和1024×768像素。虽然在以下七个类别中的每一个类别中收集了50个不同的鱼图像:红鲻鱼、鎏鱼、马鲛鱼、海鲈鱼、红鲱鱼、黑海鲱鱼和条纹红鲻鱼，但是为鳟鱼和虾捕获了30个不同的图像。图像采集过程中的所有鱼都是新鲜的，它们以各种位移和角度定位，但光照条件没有明显变化。最后，为了使数据集可用于有实际问题的研究，最好使用蓝色和有噪声的背景，而不是干净的白色背景。来自收集的数据集的示例图像在图1中示出。此外，所有九个类别的样本图像通过几乎保持它们的纵横比而被调整到590×445像素。然后，这些样本通过增强算法，其中每个图像以非重复的随机角度旋转。对于每种海鲜类型，最终获得1000幅图像用于构建数据集。
进行了几个实验来分析收集的数据集的性能。基本过程基于鱼类分割，然后使用基于支持向量机的分类器进行基于特征的鱼类分类(依赖于不同的特征类型)。实验装置的框图在图2中给出，获得的实验结果在本节的剩余部分中报告。
2.2鱼类分割
在第一组实验中，所有海鲜图像的地面真值分割掩模是通过手动提取的。然后，使用形态算子来平滑这些掩模并获得更精细形状的二进制标签。在此过程中，采用了菱形距离为8的侵蚀操作。随后，将距离为25的球形膨胀算子应用于所有遮罩，以获得最终的地面真实遮罩。
手动获取地面真值遮罩后，通过一种称为SegNet 的语义分割算法，将待分割的鱼从其背景中自动分离出来，seg net是一个包含十层的神经网络。整个数据分为70%的训练集和30%的测试集。对于这两个类别(在本例中是鱼和背景)，过滤器大小和过滤器数量分别确定为3 × 3和64。最大历元数取为10，小批量选择为8。观察到背景比鱼包含大量的像素。因此，通过使用逆频率加权来计算类别的权重，并且更新网络的最后一层。最终，SegNet的平均训练和测试准确率分别达到98.01%和88.69%。图3展示了一些在扩充数据集上的基础事实遮罩和SegNet结果的例子。此外，表1报告了通过Jaccard相似性指数(百分比)获得的详细分段率。
2.3特征提取
在自动分割之后，通过从分割图像中提取的特征对所有海鲜类型进行分类。提供给分类器的信息通过如下四种不同的特征提取方法获得。
GLCM:GLCM展示了像素的不同灰度强度在图像中出现的频率。本研究通过灰度共生矩阵提取“对比度”和“能量”特征。当对比度特征利用每个像素与其相邻像素之间的对比度时，能量特征计算元素的平方和。对比度特征可以捕捉不同鱼类的颜色变化，因此在分类过程中需要观察不同颜色的效果。另一方面，选择能量特征是因为它在食品质量评估任务中被证明是有效的。这两个特征不仅单独馈送到支持向量机，而且作为一个串联的特征馈送。
Moments(矩):提取二阶矩(方差)和三阶矩(偏斜度)来观察数据中的分布及其对分类成功率的影响。类似于GLCM特征，执行二阶和三阶矩的连接以观察它们的组合是否导致分类过程中测试准确率的提高。
BoF:BoF算法是对用于图像处理的单词包的采用。这种特征提取技术使用SURF方法提取离散的基于像素的特征来创建视觉词汇。提取所有特征后，利用K-means聚类剔除弱特征，得到视觉词汇的最终版本。由于它考虑了大量的特征，因此在本研究中使用了BoF。
CNNsF: CNNs的灵感来自人类视觉系统和大脑的生物结构，专门为图像处理而设计[18]。氯化萘主要由四个主要层组成；输入层、卷积层、汇集层和全连接层。层数和顺序是根据手头问题的难度来选择的。更复杂的问题通常需要更高的层数。本研究采用CNNsF提取边缘、斑点和小细节等多种特征。由于训练一个端到端网络需要很高的计算时间，所以AlexNet被用作预训练网络。历元号选择为10，迷你批次大小确定为8。
2.4分类结果
自1979年首次作为有监督二进制分类器引入以来，支持向量机[24]已被广泛应用于分类任务。由于它们在食品评估研究中的成功，例如，它们在本研究中被优选作为分类器。在这组实验中，一个对所有支持向量机分类器是设计用于分析提取特征的使用。随机70%的图像用于训练，30%用于测试算法。10倍交叉验证与支持向量机一起使用，并且所有特征向量被标准化并以相同的维度形成。此外，所有实验已经用随机初始化重复了五次，并且在实验结果中提供了平均值。
对于实验，训练了八个独立的支持向量机。培训和测试结果见表二和表三。使用BoF获得了最低的平均训练和测试准确率(分别为84.36%和81.55%)。实际上，BoF算法在其他特征中选择最强的特征，并且当图像包含非常相似的纹理和颜色时，它有时不能为给定的任务选择合适的特征。另一方面，当在支持向量机分类器中采用GLCM对比特征时，可以观察到最佳的训练和测试结果。在训练过程中，平均准确率达到98.74%，比基于神经网络特征的结果高出近1%。对于平均测试精度，对比度特征和CNNsF之间的差异增加到4%以上。考虑到中枢神经系统是专门为成功的基于视觉的应用而设计的，这里可以指出，采用GLCM对比度特征是该数据集的一个很好的选择。
不同特征的连接可能会对本研究中观察到的不同数据的准确性产生不同的影响。例如，虽然对比和能量特征的结合提高了红鲷的训练和测试准确率，但却降低了系统对黑海鲷的成功率。当单独使用能量特征时，它对鳟鱼产生97.15%的测试精度；然而，当与对比特征结合时，成功率达到97.28%。值得注意的另一点是，单独使用对比度和能量特征比使用它们的串联平均会导致更高的精度。
根据通过统计特征获得的分类结果，观察到二阶矩平均导致更好的准确率。对于马鲛鱼和鳟鱼，它比训练中的GLCM对比度特征产生更高的准确率。另一个观察结果是，二阶和三阶矩的串联导致比单独使用这些特征更低的平均精度。
最后，在支持向量机算法中采用CNNsF导致了比BoF高得多的准确率，并且它在训练过程中紧跟GLCM对比度和能量特征的成功率。同样对于虾，通过CNNsF获得的低水平和高水平特征产生最佳的训练和测试准确率。
3.结论
在过去的二十年里，计算机视觉和机器学习的相互应用在食品工业中产生了强烈的影响和效益，其潜力被许多工业公司所认可。食品质量评估的自动化系统大大减少了这项任务的时间消耗，同时提高了腐败检测的准确性。同样，对于海鲜来说，区分鱼的种类对于检测腐烂和疾病很重要。不幸的是，缺乏公开可用的数据集超市零售区海鲜质量分析。在这项研究中，构建了一个来自土耳其爱琴海地区九种广泛消费的海鲜的数据集，同时考虑了现实生活中的实际限制，如嘈杂的背景和不同的暴露。在分析数据集的过程中，人工获取了基本事实标签，测试了语义分割和基于特征的分类任务。使用收集的数据集可以获得有希望的结果，因此可以公开用于进一步研究。