AI 日志时间怎么统一？用 pandas 定位无效值并转换为 UTC

分析 AI 调用日志或准备带时间的训练数据时，应先分清时间有没有时区。来源系统记录“18:00”，另一套日志记录“10:00Z”，可能是同一时刻；直接比较字符串会把检索与生成的先后关系判断错。正确流程是保存原值，按已确认的来源时区解释，再转换成 UTC。

下面的三条 AI 日志为虚构样本，来源系统已约定 Asia/Shanghai，格式固定为年-月-日 时:分:秒。示例只验证解析、错误分离和时区转换，不测量真实推理速度或业务故障。

先给时间字段一个明确协议

没有时区的字符串称为 naive 时间，本身不能确定唯一时刻。不能凭服务器所在地区替所有来源补时区。已有 Z 或 +08:00 后缀的输入也不属于下面的无时区协议，应按有时区格式另外解析。

解析异常与有效记录分开保存

在独立环境安装 python -m pip install pandas==3.0.6。保存为 log_time.py，执行 python log_time.py。示例会覆盖练习目录的 demo_logs_valid.csv 和 demo_logs_invalid.csv。

import pandas as pd

data = pd.DataFrame([
    {"request_id": "demo-1", "event": "retrieval_started", "raw_time": "2026-10-01 18:00:01"},
    {"request_id": "demo-1", "event": "generation_finished", "raw_time": "2026-10-01 18:00:03"},
    {"request_id": "demo-2", "event": "retrieval_started", "raw_time": "not-a-date"},
])
data["source_zone"] = "Asia/Shanghai"
parsed = pd.to_datetime(data["raw_time"], format="%Y-%m-%d %H:%M:%S", errors="coerce")
bad_mask = parsed.isna()
invalid = data.loc[bad_mask].copy()
invalid["reason"] = "不符合已约定的时间格式，或日期本身无效"

valid = data.loc[~bad_mask].copy()
utc = parsed.loc[~bad_mask].dt.tz_localize(
    "Asia/Shanghai", ambiguous="raise", nonexistent="raise"
).dt.tz_convert("UTC")
valid["timestamp_utc"] = utc.dt.strftime("%Y-%m-%dT%H:%M:%SZ")
valid.to_csv("demo_logs_valid.csv", index=False, encoding="utf-8-sig")
invalid.to_csv("demo_logs_invalid.csv", index=False, encoding="utf-8-sig")

assert len(valid) == 2 and len(invalid) == 1
assert valid["timestamp_utc"].tolist() == ["2026-10-01T10:00:01Z", "2026-10-01T10:00:03Z"]
assert invalid.iloc[0]["raw_time"] == "not-a-date"
print(valid[["request_id", "event", "raw_time", "timestamp_utc"]].to_string(index=False))
print("invalid:", invalid[["request_id", "raw_time", "reason"]].to_dict("records"))

pandas to_datetime 官方说明规定 errors=”coerce” 会将无法解析的值转换为 NaT。代码保存异常原值和原因，不能把这个转换当成“数据已修好”，也不能用当前时间填掉错误记录。

localize 与 convert 的作用不同

tz_localize 官方说明用于给无时区的日期时间赋予来源时区，这一步解释原值的含义，不是把 18:00 改成别的本地时刻。tz_convert 官方说明再把已有时区的时间转换到另一个时区，保持同一实际时刻。

固定示例中的 18:00:01 转成 10:00:01Z，第二条也是相同八小时偏移；not-a-date 进入异常文件。request_id 和 event 全程保持对应，可以在 UTC 轴上回查同一次请求的事件顺序。

多来源日志需要额外核对

• 混用无时区和带偏移输入：先按协议区分，不能将未说明时区的字符串直接按 UTC 解释。
• 存在夏令时：在相应地区，部分本地时刻可能重复或不存在。本文将 ambiguous 与 nonexistent 设为 raise，遇到时先依据来源记录确定处理规则，不能自动猜。
• 秒与毫秒时间戳：明确数值单位和起点，再使用对应解析配置；别靠数值大小的猜测混入本例字符串解析。
• 服务器时钟偏差：统一时区不能纠正实际时钟不准，事件逆序时还要检查来源时钟和记录时点。

如何进入 AI 数据分析流程

先核对有效日志的原值、时区和 UTC，再按 request_id 连接检索、生成和评测记录。训练数据按时间划分时也用同一时间含义，保留原字段供审计；不要用转换后的日期掩盖来源解析错误。

读者下一步是从每个日志来源取得明确的时间协议，用固定样本验证转换，再查看所有异常记录。两条演示事件的时间差只用于验证格式，不能作为真实模型延迟统计。