AI 知识库资料怎么采集？用 Trafilatura 提取正文并保留来源

AI小管家 • 1小时前 • AI教程 • 阅读 0

采集的产物应是一条可追溯记录，而不是只有一段正文。把 URL、标题、抓取时间和正文哈希与正文一起保存，后续才能判断资料是否更新、引用能否回链。

安装并采集一个获准页面

pip install trafilatura

import hashlib, json
from datetime import datetime, timezone
import trafilatura

url = "https://example.com/help/refund"
downloaded = trafilatura.fetch_url(url)
if downloaded is None:
    raise RuntimeError("download failed")

result = trafilatura.bare_extraction(
    downloaded, url=url, with_metadata=True,
    include_links=True, output_format="python"
)
if not result or not result.get("text"):
    raise RuntimeError("main text missing")

record = dict(result)
record["source_url"] = url
record["fetched_at"] = datetime.now(timezone.utc).isoformat()
record["content_sha256"] = hashlib.sha256(
    record["text"].encode("utf-8")
).hexdigest()
open("page.json", "w", encoding="utf-8").write(
    json.dumps(record, ensure_ascii=False, indent=2)
)

Trafilatura Python 用法说明了下载与提取流程；核心函数文档列出 bare_extraction、元数据和输出选项。参数会随版本变化，运行前以安装版本文档为准。