pip install requests beautifulsoup4 lxml

pip install selenium playwright

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36",
    "Accept-Language": "zh-CN,zh;q=0.9"
}
url = "https://www.zhihu.com/billboard"
response = requests.get(url, headers=headers)
print(response.status_code)  # 200表示成功

标签里：

from bs4 import BeautifulSoup

soup = BeautifulSoup(response.text, 'lxml')
hot_items = soup.select('.HotList-item')
for item in hot_items[:5]:  # 取前5条
    title = item.select_one('.HotList-itemTitle').get_text(strip=True)
    metrics = item.select_one('.HotList-itemMetrics').get_text(strip=True)
    print(f"{title} | {metrics}")

常见反爬对策 去年爬某电商网站时频繁遇到封IP，后来发现这几个技巧很管用：

• 随机延迟：time.sleep(random.uniform(1,3))
• 代理IP池：proxies = {"http": "http://10.10.1.10:3128"}
• 请求间隔：使用time.perf_counter()记录最后请求时间

3. 动态内容处理：当数据藏在JavaScript里

上个月爬取某新闻网站时，发现requests拿到的HTML里根本没有新闻列表——数据是通过AJAX异步加载的。这种动态渲染页面需要特殊处理：

方案1：直接调用API 在Chrome开发者工具的Network面板中，我找到了返回JSON数据的真实接口：

api_url = "https://api.xxx.com/news/list?page=1"
data = requests.get(api_url).json()
for news in data['list']:
    print(news['title'], news['publish_time'])

方案2：Selenium模拟浏览器 当没有公开API时，这个自动化测试工具能帮我们渲染完整页面：

from selenium import webdriver
from selenium.webdriver.chrome.options import Options

options = Options()
options.add_argument("--headless")  # 无界面模式
driver = webdriver.Chrome(options=options)
driver.get("https://dynamic-site.com")
html = driver.page_source
# 后续解析与静态页面相同
driver.quit()

性能优化技巧 在批量处理时，我总结出这些经验：

• 复用浏览器实例避免频繁启动
• 使用execute_script()主动触发滚动加载
• 设置page_load_timeout防止卡死
• 对于超大规模采集，考虑Playwright的异步特性

4. 数据存储与清洗：让爬取结果真正可用

三年前的一次数据泄漏事件让我明白：原始爬取数据就像刚挖的矿石，需要冶炼才能使用。这里分享我的数据处理流水线：

结构化存储方案

import csv
import json

# CSV存储（适合表格数据）
with open('data.csv', 'w', newline='', encoding='utf-8') as f:
    writer = csv.writer(f)
    writer.writerow(['标题', '热度'])  # 表头
    for item in hot_items:
        writer.writerow([item['title'], item['metrics']])

# JSON存储（适合嵌套数据）
with open('data.json', 'w', encoding='utf-8') as f:
    json.dump([item.to_dict() for item in hot_items], f, ensure_ascii=False)

数据清洗实战 去年处理论坛内容时，遇到各种脏数据：

import re

def clean_text(text):
    text = re.sub(r'<[^>]+>', '', text)  # 去HTML标签
    text = re.sub(r'\s+', ' ', text)  # 合并空白字符
    return text.strip()

# 处理特殊编码
def decode_special(s):
    return s.encode('latin1').decode('unicode_escape')

5. 爬虫进阶：效率提升与伦理边界

当需要采集百万级数据时，单线程爬虫就像用勺子舀干游泳池。这是我的多线程方案：

并发爬虫架构

from concurrent.futures import ThreadPoolExecutor
import threading

lock = threading.Lock()
def worker(url):
    try:
        data = scrape_page(url)  # 封装前面的抓取逻辑
        with lock:
            save_to_db(data)
    except Exception as e:
        log_error(e)

with ThreadPoolExecutor(max_workers=8) as executor:
    executor.map(worker, url_list)

爬虫伦理checklist 这些年我坚持的原则：

• 遵守robots.txt协议
• 设置合理请求间隔（>1秒）
• 不爬取个人隐私数据
• 商用前确认网站版权政策
• 对敏感字段进行脱敏处理

记得在代码里添加这个延迟，既保护对方服务器，也避免自己被封：

import random
time.sleep(random.uniform(1, 3))  # 随机延迟1-3秒

爬虫就像数字世界的探险，既要勇敢开拓，也要尊重边界。当你能游刃有余地处理各种反爬机制，又始终对数据保持敬畏时，这些自动采集的数据流就会成为最有价值的数字矿产。