6、在线英文报纸广告检测：图像处理与深度学习方法

aa123

66人浏览 · 2025-09-06 16:01:26

aa123 · 2025-09-06 16:01:26 发布

在线英文报纸广告检测：图像处理与深度学习方法

1. 引言

广告在我们的生活中扮演着重要角色，报纸凭借其广泛的覆盖面，成为了最大的广告平台之一。许多求职者依靠报纸广告寻找工作，学生可以在报纸广告中查找入学通知或辅导课程信息，承包商则关注各类招标、投标和拍卖信息等。产品销售和促销广告吸引了众多买家，此外，报纸还有政治广告、公共通知、失物招领、征婚广告、纪念信息等，这些都具有普遍的吸引力。

为了及时采取行动，人们需要快速获取所需的广告。在线报纸使得我们可以在手机、笔记本电脑和台式机上随时随地访问多份报纸，而无需等待不同报纸的印刷版。疫情期间的居家情况进一步推动了在线报纸的发展。然而，即使是在线报纸也没有提供自动广告搜索选项，也没有搜索门户可以通过关键词匹配在各种在线报纸中搜索广告。因此，人们不得不逐页手动搜索多份报纸，以找到相关的广告。

为了解决这个问题，需要一个智能系统，它可以自动检索多份报纸中的广告图像，使它们能够立即用于及时行动，从而为 5.0 社会增添价值。自动从多份报纸中检测广告不仅对于跨范围的个性化广告搜索至关重要，还可以帮助公司和个人确保他们的广告出现在他们付费的报纸中。此外，在跟踪文章之前去除广告也很有帮助。

在线报纸大多以 .pdf 格式提供，在这些文件中检测广告并非易事。人类可以通过观察轻松识别广告图像，但使用计算机程序自动检测广告是一项具有挑战性的任务。这是一个典型的图像识别和分类问题，可以通过先提取报纸中的所有图像，然后将这些图像分类为广告或非广告来解决。这样，所有的广告图像都可以从报纸中提取出来，并用于不同的目的。结合光学字符识别（OCR）技术，还可以检索这些广告图像中的文本，从而实现基于关键词的广告搜索。

广告检测问题大致可分为两个部分：
- 报纸布局分割以提取图像
- 图像分类为广告和非广告

2. 相关文献

2.1 报纸布局分割综述

布局分割用于将文档图像划分为各种区域，如标题、列、段落、绘图、图像和表格。以下是一些报纸布局分割技术的回顾：
| 年份 | 作者 | 方法 | 特点 |
| ---- | ---- | ---- | ---- |
| 1999 | Gatos 等 | 基于规则的方法 | 识别报纸图像中的图像组件，包括线条、标题块、绘图和图像，并使用规则识别文章 |
| 2001 | Liu 等 | 自下而上的方法 | 先识别连接组件，然后分离线条、文本或图形组件作为基本组件，再根据组件属性应用启发式规则合并这些基本组件 |
| 2001、2004a、b | Mitchell 和 Yan | 自下而上的方法 | 相邻矩形区域形成组件模式 |
| 2007 | Furmaniak | 基于文本相似度的方法 | 使用 OCR 和几何布局规则，通过找出属于同一文章的块来分割完整文章 |
| 2009 | Chaudhury 等 | 基于规则的方法 | 用于“谷歌报纸搜索程序”，使用块分割、标题检测和基于规则的分类器 |
| 2012 | Palfray 等 | 逻辑分割方法 | 使用条件随机场（CRF）模型和一组分组规则，假设通用布局模型并使用简单规则分割报纸文章 |
| 2013 | Antonacopoulos 等 | 评估不同方法 | 评估方法正确分割区域的能力以及整个分割流程，所有评估方法均使用自下而上的方法，性能相似 |
| 2014 | Bansal 等 | 机器学习框架 | 通过学习相邻块之间的关系，从报纸图像中提取完整文章 |
| 2016 | Chu 和 Chang | 分割方法 | 检测“中国时报”头版中包含广告的区域，先检测连接组件，再使用图像在报纸中的位置和/或大小等规则识别广告 |
| 2017 | Meier 等 | 全卷积神经网络（FCN）方法 | 将报纸页面分割成不同区域，但不识别每个段中的元素类型 |
| 2019 | Almutairi 和 Almashan | Mask R - CNN 方法 | 成功分割不同语言报纸的文章和报纸标题，但未考虑小文本广告，且无法分离相邻广告 |

从这些回顾可以看出，现有的报纸布局分割技术主要集中在完整文章的提取，并且大多使用基于规则的方法。然而，基于规则的方法在从不同报纸中提取广告时效果不佳，因为广告的放置规则和允许大小可能不同，而且规则可能随时间和客户需求而变化。此外，大多数方法只适用于一种类型的报纸，并假设报纸页面具有通用布局，没有考虑到各种报纸的不同风格和布局。

2.2 广告图像分类综述

以下是一些广告图像分类技术的回顾：
| 年份 | 作者 | 方法 | 特点 |
| ---- | ---- | ---- | ---- |
| 2000 | Peleato 等 | 朴素贝叶斯分类器 | 使用报纸广告的文本内容将其分类为各种类别（车辆、就业、房地产等） |
| 2006 | Duan 等 | 多模态分析 | 使用空间 - 时间特征检测电视流中商业广告的边界，使用语音、文本、边缘和颜色特征将商业广告分类为多个类别 |
| 2007 | Zhang 等 | SVM 分类器 | 使用音频和视频剪辑分割视频镜头，并将这些视频镜头分类为商业镜头或节目镜头 |
| 2007 | Li 等 | AdaBoost 和 SVM 分类器 | 使用网页的文本、链接、视觉内容和视觉布局检测网页上的广告图像 |
| 2010 | Gong 和 Zhu | 神经网络分类器 | 分类网页上的上下文广告和非上下文广告，使用文本、链接、布局和样式等特征 |
| 2011 | Ouji 等 | 颜色分割方法 | 使用 K - NN 和 AdaBoost 分类器检测数字化新闻文档（包括各种杂志和报纸页面）中的广告，但精度一般，广告和文本与图形类之间的混淆率较高 |
| 2012 | Jung 等 | 广告分类技术 | 通过学习广告特定特征和文本广告中“术语”的有用语义关联来扩展词汇，但依赖广告的文本内容进行分类，未考虑图形广告 |
| 2016 | Chu 和 Chang | VIREO374 包和 CNN | 使用语义（文本）和视觉特征对网站快照和报纸图像中的广告进行分类，使用 VIREO374 包提取语义特征，使用 CNN 提取视觉特征，最后使用 SVM 进行分类 |
| 2017 | Banerjee | 机器学习方法 | 使用文本特征和非文本特征（包括颜色和面部特征）从在线广告数据集中分类政治广告 |
| 2017 | Vo 等 | nLmF - CNN 模型 | 识别网站快照中的在线广告，通过实验找到合适的超参数（卷积层数量和每个卷积层的滤波器数量），但找到适合在线英文报纸广告和非广告图像分类的 CNN 架构和超参数仍是一个挑战 |
| 2018 | Almgren 等 | CNN 方法 | 基于视觉特征将各种杂志图像数据集中的广告与文章分类，但仅限于广告块与文章块的分类，未考虑分离广告块中的单个广告 |

从这些回顾可以看出，大多数分类任务使用文本特征进行分类，但在线报纸广告以图像格式存在，其文本内容并非直接可用。此外，报纸中还包含图形广告，这些广告通常文本较少，因此视觉特征在这里更为重要。

3. 在线英文报纸图像提取

3.1 图像提取技术

本研究使用一种基于“自适应阈值”和查找“连接组件”的新型图像提取技术，用于从报纸的 .pdf 文件中分离图像。该技术不假设报纸布局，也不使用任何关于广告大小或位置的规则。这种对报纸布局和广告大小及位置规则的独立性使得该技术能够轻松地从各种不同的报纸中提取图像。

该技术的流程如下：
1. 首先，使用自适应阈值方法对报纸图像进行处理，将图像转换为二值图像，以便更好地识别图像中的区域。
2. 然后，通过查找连接组件，识别出图像中的各个连通区域。
3. 接着，确定这些连通区域中的边界框，将其视为潜在的图像区域。
4. 最后，提取这些边界框内的图像，并将其保存为单独的文件。

graph TD;
    A[读取报纸 .pdf 文件] --> B[自适应阈值处理];
    B --> C[查找连接组件];
    C --> D[确定边界框];
    D --> E[提取图像];
    E --> F[保存图像];

这种方法能够有效地提取报纸中的图像，并且不受报纸布局和广告规则的限制。

在线英文报纸广告检测：图像处理与深度学习方法

3. 在线英文报纸图像提取（续）

3.2 图像提取结果和讨论

通过上述图像提取技术，从多份在线英文报纸的 .pdf 文件中成功提取了大量图像。在提取过程中，发现该技术对于不同布局的报纸都具有较好的适应性，能够准确地识别并提取出图像区域。

然而，该技术也存在一些局限性。例如，在某些情况下，可能会将一些非图像区域误识别为图像，或者将一个大的图像区域分割成多个小的部分。但总体而言，该技术的提取效果较为理想，为后续的广告图像分类提供了充足的图像数据。

4. 广告图像分类

4.1 使用 CNN 进行广告图像分类

卷积神经网络（CNN）在图像分类和视觉识别任务中表现出色，因此被选为本次研究中广告图像分类的主要方法。
- CNN 的工作原理 ：CNN 由多个卷积层、池化层和全连接层组成。卷积层通过卷积核提取图像的特征，池化层用于减少特征图的尺寸，全连接层则将提取的特征进行分类。具体来说，输入的图像首先经过卷积层进行特征提取，卷积操作可以捕捉图像中的局部特征，如边缘、纹理等。然后，池化层对卷积层的输出进行下采样，降低特征图的维度，减少计算量。最后，全连接层将池化层的输出进行整合，并输出分类结果。

graph LR;
    A[输入图像] --> B[卷积层];
    B --> C[池化层];
    C --> D[全连接层];
    D --> E[分类结果];

4.2 英文报纸图像数据集

使用上述图像提取技术，从不同的在线英文报纸中收集并整理了一个图像数据集。该数据集包含了大量的广告图像和非广告图像，为广告图像分类模型的训练和评估提供了丰富的数据支持。

4.3 迁移学习

为了提高模型的性能和训练效率，采用了迁移学习的方法。迁移学习是指将在一个任务上训练好的模型的知识迁移到另一个相关任务上。在本次研究中，使用预训练的 ResNet50 模型作为基础模型。ResNet50 是一个深度卷积神经网络，在大规模图像数据集上进行了预训练，具有很强的特征提取能力。

4.4 预训练 ResNet50 模型用于迁移学习

具体操作步骤如下：
1. 加载预训练的 ResNet50 模型，去除其最后一层全连接层。
2. 在剩余的模型基础上，添加新的全连接层，用于适应广告图像分类的任务。
3. 冻结预训练模型的部分或全部层，只训练新添加的全连接层，以加快训练速度。
4. 使用英文报纸图像数据集对模型进行训练和微调。

4.5 CNN 模型用于广告分类

为了找到最适合广告图像分类的模型，评估了六种不同的 CNN 模型：
| 模型编号 | 模型名称 | 特点 |
| ---- | ---- | ---- |
| 1 | 特征提取器 + 分类器 | 只使用预训练模型的特征提取部分，添加简单的分类器进行分类 |
| 2 | 微调最顶层卷积块 | 在预训练模型的基础上，微调最顶层的卷积块和分类器 |
| 3 | 微调顶部两个卷积块 | 微调顶部两个卷积块和分类器 |
| 4 | 微调顶部三个卷积块 | 微调顶部三个卷积块和分类器 |
| 5 | 微调顶部四个卷积块 | 微调顶部四个卷积块和分类器 |
| 6 | 重新训练整个模型 + 分类器 | 重新训练整个预训练模型和分类器 |