Python文本处理实践_日志清洗解析【指导】

日志清洗解析的核心是将非结构化日志转为结构化数据，关键在于识别格式规律、分步正则提取、异常清洗及结构化输出分析。

日志清洗解析的核心是把杂乱、非结构化的原始日志，转换成字段清晰、可筛选、可统计的结构化数据。关键不在于写多复杂的正则，而在于理清日志格式规律、分步拆解、验证每一步输出。

识别日志格式特征

先人工抽样 10–20 行日志，观察固定分隔符（如空格、竖线|、方括号[ ]）、时间戳位置、IP/路径/状态码等字段是否对齐或有稳定模式。例如：

• [2025-03-15 14:22:08] INFO [192.168.1.100] GET /api/user?id=123 200 142ms
• [2025-03-15 14:22:11] WARNING [10.0.5.22] POST /login 401 87ms

可快速判断：方括号包时间+级别+IP，空格分隔动词、路径、状态码、耗时——这就构成了提取逻辑的基础。

用正则分组提取关键字段

避免写一个“全能大正则”，而是按字段逐个捕获，提高可读与可维护性。推荐用命名分组：(?P...)、(?P...) 等。

• 时间：r'\[(?P\d{4}-\d{2}-\d{2} \d{2}:\d{2}:\d{2})\]'
• 日志级别：r'\[(?P\w+)\]'（注意匹配位置，避免和 IP 的方括号冲突）
• IP 地址：r'\[(?P\d{1,3}\.\d{1,3}\.\d{1,3}\.\d{1,3})\]'
• 请求行：r'(?P\w+) (?P[^ ]+) (?P\d{3}) (?P\d+ms)'

组合时注意顺序和空格容错，建议用 re.compile() 预编译提升性能。

清洗异常与缺失值

真实日志总有例外：时间格式错误、字段错位、乱码、空行、调试日志混入。清洗不是“全删”，而是分类处理：

• 跳过空行或纯空白行：if not line.strip(): continue
• 对匹配失败的行，记录行号和原始内容到 warn.log，供人工复核
• 状态码非数字？统一设为 0 或 None，后续分析时过滤
• 毫秒字段含字母（如 "N/A ms"）？用 re.sub(r'[^0-9]', '', duration_str) 提纯

结构化输出与简单分析

清洗后推荐转为字典列表或 pandas DataFrame，便于后续操作：

• 导出 CSV：csv.DictWriter 直接写入带 header 的文件
• 统计各状态码出现次数：Counter([log['status'] for log in logs])
• 查慢请求（>500ms）：[log for log in logs if int(log.get('duration', '0').rstrip('ms') or 0) > 500]
• 按小时聚合请求数：pd.to_datetime(df['time']).dt.hour.value_counts().sort_index()

不复杂但容易忽略：每次清洗脚本运行后，生成一份简要报告（总行数、成功解析数、警告数、TOP3 错误类型），能极大提升协作与问题定位效率。