导读：

目前针对网络爬虫的防御机制很多，传统的机制有基于验证码的机制，有基于抓取频率的，还有基于浏览器策略的机制，这些策略通常不能有效解决爬虫问题。在进行了大量的技术调研的基础上，本文提出了一种多策略的反爬虫机制，同时结合深度学习技术，有效提升了系统的反爬效果，进而构建了一个集token技术，前端技术、验证码技术、蜜罐技术、深度学习技术、规则库、黑白名单技术于一体反爬虫系统，该系统通有效地解决了爬虫问题。

作者信息：

郭 峰：奇安信科技集团应用技术创新中心，北京

原文链接：

https://doi.org/10.12677/csa.2025.159242

论文详情

整体架构(如图1)分为7个大的组成部分：

反爬虫与性能优化

除了加密措施外，系统还采用多种反爬虫策略，如：

•请求频率限制：防止短时间内大量请求导致服务器压力过大。

•动态Token验证：每次请求需携带动态生成的Token，防止自动化脚本爬取。

•虚假数据混淆：在真实数据中混入干扰信息，增加爬虫解析难度。

在性能优化方面，前端采用Vue 3的Composition API提升代码复用性，结合Axios的并发请求优化，减少网络延迟。后端通过缓存机制和负载均衡，确保高并发场景下的稳定响应。

为有效阻断爬虫访问，本方案设计一种验证方案阻断网站爬虫的访问。流程如图2所示。

蜜罐陷阱网络反扒的安全策略设计如下：首先通过表单隐藏字段，CSS隐藏元素等方法设置蜜罐陷阱到需要访问的网页集中；同时生成大量的垃圾页面。当有IP进行Web访问触发到蜜罐陷阱时，根据访问频率等条件后，判定爬虫。如果某IP被判定为爬虫后，引导其进入垃圾页面，流程如图3所示。

后续还设计了基于令牌机制的请求参数自动生成机制。

针对以上机制的问题性质确定使用长短期记忆网络LSTM (Long Short-Term Memory)神经网络作为Web爬虫行为检测模型，进行数据收集和模型训练，设计规则库机制和黑白名单机制，通过上述的机制，可以屏蔽大部分的爬虫，经过相关实践，也达到了预期的效果，屏蔽了95%以上的爬虫，尤其是恶意爬虫。

具体详情请移步汉斯官网链接学习了解！！！