1. 项目概述：Python作业中的核心技能融合

这次Python作业看似平常，实则暗藏玄机。作为一门融合正则表达式、网络爬取和装饰器三大核心技术的综合练习，它考察的是我们如何将零散知识点串联成解决实际问题的能力。我在完成过程中发现，很多同学卡在了正则匹配模式的设计上，另一些则在爬虫反爬机制前败下阵退，而装饰器的灵活运用更是成为区分作业质量的分水岭。

2. 正则表达式实战精要

2.1 基础匹配模式构建

正则表达式就像文本处理的瑞士军刀，但要用好它需要理解其核心语法。以匹配金额为例， r'¥\s*\d+(\.\d{2})?' 这个模式可以捕捉"¥199"或"¥ 59.99"这样的货币表示。其中：

• ¥ 匹配货币符号（注意转义）
• \s* 处理可能存在的空格
• \d+ 匹配整数部分
• (\.\d{2})? 可选的小数部分

特别提醒：在Python中建议始终使用原始字符串（r前缀），避免转义字符带来的意外问题。我曾因为漏写r导致 \b 被解释为退格符而调试半小时。

2.2 高级捕获技巧

分组捕获是正则的杀手锏。假设要提取京东商品页的价格信息，可以这样设计：

import re
text = '<span class="price">¥<em>5999</em></span>'
pattern = r'<span class="price">¥<em>(\d+)</em></span>'
match = re.search(pattern, text)
if match:
    print(f"捕获到的价格：{match.group(1)}")

这种非贪婪匹配 .*? 能有效防止过度捕获。但要注意，面对现代网页的复杂结构，纯正则解析往往力不从心，这时就需要结合BeautifulSoup等专业工具。

3. 爬虫技术深度解析

3.1 基础爬取流程

使用requests库获取京东手机数据的典型流程：

import requests
from bs4 import BeautifulSoup

headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36'
}
url = 'https://search.jd.com/Search?keyword=手机'
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')

for item in soup.select('.gl-item'):
    title = item.select('.p-name em')[0].text
    price = item.select('.p-price i')[0].text
    print(f"{title}: {price}")

3.2 反反爬策略实战

现代网站的反爬机制越来越完善，需要多管齐下：

1. 轮换User-Agent：准备多个浏览器标识
2. 代理IP池：避免单一IP被封
3. 请求间隔：随机延时1-3秒
4. 模拟登录：处理需要认证的页面

血泪教训：我曾因忘记设置延时，导致IP被京东封禁2小时。建议使用 time.sleep(random.uniform(1, 3)) 制造人性化访问间隔。

4. 装饰器的艺术

4.1 计时装饰器实现

装饰器就像代码的"外包装"，能为函数添加额外功能而不修改其核心逻辑。下面这个计时装饰器是我调试爬虫性能的利器：

import time
from functools import wraps

def timer(func):
    @wraps(func)
    def wrapper(*args, **kwargs):
        start = time.perf_counter()
        result = func(*args, **kwargs)
        end = time.perf_counter()
        print(f"{func.__name__} 耗时：{end - start:.4f}秒")
        return result
    return wrapper

@timer
def crawl_page(url):
    # 爬取逻辑...
    time.sleep(1)
    
crawl_page("https://example.com")  # 自动输出执行时间

4.2 重试机制装饰器

网络请求难免失败，自动重试装饰器能大幅提升爬虫健壮性：

def retry(max_attempts=3, delay=1):
    def decorator(func):
        @wraps(func)
        def wrapper(*args, **kwargs):
            attempts = 0
            while attempts < max_attempts:
                try:
                    return func(*args, **kwargs)
                except Exception as e:
                    attempts += 1
                    if attempts == max_attempts:
                        raise
                    time.sleep(delay)
        return wrapper
    return decorator

@retry(max_attempts=5, delay=2)
def fetch_data(url):
    # 可能失败的请求...

5. 项目集成与优化

5.1 数据处理管道

将各模块有机整合是关键。我的数据处理流程如下：

1. 爬取层：使用retry装饰的爬取函数
2. 解析层：正则+BeautifulSoup混合解析
3. 存储层：装饰器增强的数据库操作
4. 监控层：timer装饰关键函数

@timer
@retry
def full_pipeline(url):
    html = fetch_page(url)
    data = parse_content(html)
    save_to_db(data)

5.2 性能优化技巧

• 多线程爬取：使用concurrent.futures加速

from concurrent.futures import ThreadPoolExecutor

urls = [...]  # 待爬列表
with ThreadPoolExecutor(max_workers=5) as executor:
    executor.map(crawl_page, urls)

• 缓存机制：用lru_cache装饰器缓存重复计算
• 连接池：对数据库连接使用单例装饰器

6. 避坑指南与调试心得

1. 正则灾难性回溯：过于宽松的 .* 可能导致性能骤降

   • 解决方案：尽量使用具体字符类 \d 、 \w 等
   • 测试工具：regex101.com在线调试

2. 编码问题：网页字符集不统一

   • 万能方案： response.encoding = response.apparent_encoding

3. 动态加载内容：常规爬取获取不到数据

   • 进阶方案：改用selenium或drissionpage

4. 装饰器堆叠顺序：从上到下依次执行

   • 记忆口诀："装饰器像洋葱，外层先包后执行"

5. 变量作用域：装饰器内访问外部变量需用nonlocal

   • 典型错误：在wrapper内直接修改外部计数器

这次作业让我深刻体会到，Python的强大不在于语法本身，而在于如何将这些看似独立的功能点有机组合，构建出解决实际问题的完整方案。正则表达式是文本处理的显微镜，装饰器是代码组织的乐高积木，而爬虫技术则是连接数字世界的桥梁——当这三者协同工作时，就能创造出令人惊叹的自动化解决方案。