↑

联网搜索与网页抓取v1.0.0

web-search7 KB

无需 API key 的联网搜索与网页抓取技能。用户需要查资料、核实信息、读网页正文或找文献时触发;支持关键词搜索返回结构化结果,也能抓取指定网页输出干净正文,中文搜索免代理可用。

0 0 0 0 更新于 2026-10-28 19:06

免责声明:本站部分 Skill 来源于公开渠道,使用前请注意识别相关风险,内容版权归原作者所有,如 Skill 涉及版权问题,请在线反馈,核实后予以下架处理。

概述

本 Skill 面向需要实时互联网信息的场景,提供免 API key 的搜索与网页抓取能力。用户通过自然语言发起查询后,技能会调用本地 Python 脚本执行关键词搜索,返回带标题、摘要、链接和引擎评分的结构化结果列表;也可针对指定 URL 抓取网页,自动去除导航栏、广告和脚本,输出干净正文文本。中文搜索走百度/Bing 直连无需代理,英文搜索优先通过 ddgs 聚合多后端,依赖用户本机代理环境。适用于查资料、核实事实、跟踪新闻、找文献等一切需要新鲜网络信息的任务。

技能包含

  • SKILL.md(本文件):技能主说明,含触发条件、搜索/抓取命令用法、工作流约定与安全限制
  • scripts/web_search.py:核心执行脚本,单文件纯 Python 实现,封装搜索、网页抓取、正文提取与错误处理
  • requirements.txt:依赖清单(requests、beautifulsoup4、ddgs)

核心能力

  • 关键词搜索:调用 ddgs 聚合多引擎,返回结构化结果(标题/摘要/链接/评分),支持 site: 限定站点、"短语" 精确匹配、-词 排除、--fresh 时间窗筛选
  • 网页正文抓取:通过 requests + BeautifulSoup 本地解析,自动过滤导航、广告、脚本,输出干净正文,支持 --max-chars 限制长度
  • 中英双通路:中文搜索直连百度/Bing 免代理;英文搜索走 DuckDuckGo 聚合,自动切换后端
  • 来源引用与核验:搜索→抓取→回答时标注 URL,关键结论交叉两个独立来源,矛盾时如实告知
  • 失败安全:限流/反爬/超时报错不编造,换词重试一次仍失败则告知用户并提供替代方案

应用场景

用户怎么说本技能做什么
"查一下最近关于城市洪涝和海绵城市的研究"执行中文关键词搜索,返回 10 条结构化结果,含标题摘要与来源链接
"帮我读这个网页的文章内容"抓取指定 URL,去除广告和导航后输出干净正文,标注来源
"核实一下这个数据是否准确"交叉搜索两个以上独立来源,对比正文内容,给出核验结论并附引用
"找 site:nhc.gov.cn 上近一个月的流感通报"用 site: 限定站点 + --fresh month 时间筛选,精准定位官方来源
"英文搜索 deep learning flood,要最新的"检测代理环境,走 ddgs 英文通路,按时间排序返回结果