媒体监测的起点,是把分散在各个新闻站点的公开报道收集成结构化数据。本文结合 9HTTP 动态住宅代理的跨地区访问能力,聚焦具体操作:确定采集字段、提取标题和发布日期、识别来源,以及处理多渠道转载带来的重复内容。
一、采集前先做三件事
- 确定来源清单:列出需要覆盖的新闻站点、地区和语言。来源越明确,字段规则越好写,后续去重也更容易界定范围。
- 核对采集权限:查看目标站点的 robots 协议和服务条款,确认哪些内容允许自动获取、频率有什么限制。公开可见不等于可以无限制采集,取得授权并遵守规则是前提。
- 确定字段与格式:提前定义每条新闻需要保存哪些字段、以什么格式入库(如 JSON、CSV),避免采集中途返工。
二、新闻页面有哪些可用字段
一条新闻记录通常包含以下字段,多数可以从页面的 HTML 结构、meta 标签或结构化数据中提取:
| 字段 | 说明 | 常见位置 |
| 标题 | 新闻主标题,部分页面有副标题 | <h1> 标签、<meta property="og:title">、结构化数据 headline |
| 发布日期 | 首次发布时间,部分页面有更新时间 | <meta property="article:published_time">、结构化数据 datePublished |
| 来源 | 媒体名称或域名,转载稿需区分销转载与原创 | 页面页头、URL 域名、结构化数据 publisher |
| 作者 | 撰写人或编辑署名 | 署名区域、结构化数据 author |
| 正文 | 报道主体内容 | <article> 或正文容器节点 |
| 标签/栏目 | 分类或话题关键词 | 标签区域、结构化数据 keywords |
| 原文链接 | 规范化的文章 URL | <link rel="canonical"> 或页面 URL |
其中标题、发布日期、来源和 URL 是媒体监测中最核心的四个字段:标题用于匹配话题,日期用于时间线分析,来源用于区分媒体渠道,URL 用于唯一标识和去重。
三、提取标题
标题通常在页面唯一的 <h1> 标签中。以 Python 为例:
import requests
from bs4 import BeautifulSoup
url = "https://example-news.com/article/12345"
headers = {"User-Agent": "Mozilla/5.0 (compatible; media-monitor/1.0)"}
response = requests.get(url, headers=headers, timeout=30)
soup = BeautifulSoup(response.text, "html.parser")
title = soup.select_one("h1").get_text(strip=True)
print(title)两点注意:
- 以 meta 标签兜底:部分站点的
<h1>包含站名或推广文案,此时<meta property="og:title">通常更干净。建议两个来源都取,入库时记录优先级。 - 保留原始文本:不要在提取阶段修改标题内容,清洗(去空格、统一标点)放到独立的处理步骤,便于回溯。
四、提取发布日期
发布日期比标题更分散,常见位置按可靠性排序:
- 结构化数据:页面 JSON-LD 中的
datePublished,格式规范,优先采用。 - meta 标签:
article:published_time,多数新闻站点遵循 Open Graph 规范。 - 页面显示的时间:需要解析自然语言格式(如"3 小时前"),可靠性最低,仅作兜底。
提取和规范化示例:
import json, re
from datetime import datetime, timezone
def extract_date(soup):
# 优先级 1:JSON-LD
for script in soup.select('script[type="application/ld+json"]'):
try:
data = json.loads(script.string)
items = data if isinstance(data, list) else [data]
for item in items:
if isinstance(item, dict) and item.get("datePublished"):
return item["datePublished"]
except (json.JSONDecodeError, TypeError):
continue
# 优先级 2:meta 标签
meta = soup.select_one('meta[property="article:published_time"]')
return meta["content"] if meta else None
date_raw = extract_date(soup)
# 统一为 UTC 的 ISO 8601 格式
if date_raw:
dt = datetime.fromisoformat(date_raw.replace("Z", "+00:00"))
date_utc = dt.astimezone(timezone.utc).isoformat()
print(date_utc)两个易错点:
- 时区:同一篇报道在不同地区站点显示的本地时间不同,入库前统一转换为 UTC,否则时间线分析会出现顺序错乱。
- 更新时间:部分页面会随事件进展更新
dateModified。媒体监测一般以datePublished为准,dateModified可作为附加字段保存,用于识别"持续更新的报道"。
五、提取来源
来源字段要区分两个层面:
- 媒体名称:页面署名的媒体(如某通讯社、某都市报),可从结构化数据
publisher.name或页头提取。 - 域名:实际提供页面的站点域名,从 URL 提取。
两者不一致时通常意味着转载:A 站转载了 B 通讯社的报道。媒体监测中,来源应同时保存这两个字段——统计媒体覆盖面用媒体名称,分析传播链路用域名和转载关系。判断转载关系还可以结合正文中的"来源:XXX"字样和原文链接字段。
六、多渠道转载的去重
同一条新闻往往同时出现在数十个站点,去重是新闻采集中工作量最大的环节。常用的三层方法:
- URL 规范化去重:同一站点内,去掉跟踪参数(
utm_*、spm等)后按规范化 URL(<link rel="canonical">)去重。这是成本最低、误判最少的一层。 - 标题匹配去重:不同站点的转载稿标题往往一致或有微小改动。将标题标准化(去空格、统一全半角和大小写)后做精确匹配;对改动较大的标题,可用编辑距离或相似度阈值(如 0.9 以上)判定为疑似重复,再人工抽检。
- 内容指纹去重:对正文提取后计算指纹(如正文分段后的 MinHash 或 SimHash),相似度高的记录合并。这一层用于识别"标题改写但内容相同"的软转载,实现成本最高,适合在前两层之后作为补充。
合并重复记录时,建议保留字段维度:
- 保留最早的发布日期和首发来源,作为这条新闻的原始出处。
- 其余渠道记录不删除,转为"转载记录",保存各自的域名和日期,用于统计该新闻的传播范围。
七、入库后的更新节奏
- 按日期分区存储:新闻数据天然按时间组织,按发布日期或采集日期分区,便于增量处理和回溯。
- 增量采集:以文章列表页或站点地图为入口,只处理上次采集之后出现的新链接;已采集的文章除非
dateModified变化,不必重复抓取正文。 - 频率匹配更新节奏:新闻页面的更新周期从分钟级到天级不等,采集频率应与目标站点的更新节奏匹配,并在服务条款允许的范围内设置。
八、9HTTP 在跨地区新闻采集中的作用
新闻站点通常对不同地区的访问者展示不同版本的首页和频道内容,跨地区媒体监测需要用对应地区的网络出口获取当地实际展示的新闻列表。9HTTP 动态住宅代理按流量计费,IP 覆盖 195+ 个国家和地区,支持轮换和粘性会话,适合按地区轮换获取公开新闻页面。
无论是接入自有采集脚本还是现有采集工具,建议先用小批量请求验证目标站点的返回内容和字段结构,确认解析规则有效后再扩大范围。
常见问题
新闻采集和舆情监测是什么关系?
新闻采集是舆情监测的数据环节:先把公开报道收集为结构化记录,再由监测系统做话题匹配、情感分析和趋势统计。采集质量(字段完整度和去重准确率)直接决定监测结果的可靠性。应用场景可参考《舆情监测多地区信息采集》。
标题一样就一定是同一篇新闻吗?
不一定。同题内容可能是系列报道或后续更新,标题匹配层应保留"疑似重复"标记,结合发布日期、正文指纹和来源人工抽检后再合并。
采集公开新闻需要注意什么?
应遵守目标站点 robots 协议和服务条款,控制访问频率,仅采集业务所需的公开字段。涉及个人信息的内容还受隐私法规约束,公开可见不等于可以任意处理。
为什么不同地区看到的新闻列表不一样?
新闻站点的首页和频道通常按访问者所在地区展示本地化内容。跨地区监测需要从目标地区的网络出口访问,才能看到当地实际展示的新闻,这也是多地区媒体监测需要配合地区代理出口的原因。
结语
新闻采集的核心是把非结构化的页面变成可分析的字段记录:标题、发布日期、来源、URL 四个字段决定数据可用性,三层去重(URL 规范化、标题匹配、内容指纹)决定数据干净度。先小规模验证字段规则,再扩大采集范围,并遵守目标站点规则,媒体监测的数据基础才稳定。