↑

中国金融数据爬取与舆情分析v12.0.0

cn-financial-scraper883 KB

面向金融投研与合规监控场景,一键编排爬取2334家机构名单、60+财经媒体舆情、A股公告研报及实时行情,自动完成路由选择、多源降级、质量评分与Markdown回执交付。支持登录态接管与sha256可校验交付包,用户直接说"查某公司最近7天负面舆情"或"下载这批公告PDF并打包校验"即可触发。

0 0 0 1 更新于 2026-10-28 18:27

免责声明:本站部分 Skill 来源于公开渠道,使用前请注意识别相关风险,内容版权归原作者所有,如 Skill 涉及版权问题,请在线反馈,核实后予以下架处理。

概述

本 Skill 专为金融投研、风控合规与媒体监控场景设计,覆盖中国 2334 家持牌金融机构(43 大类)的名单查询与官网信息爬取,同时整合 60 余家商业财经媒体、RSS 源及搜索引擎,实现全网舆情的多级抓取与情感分级。核心交付物包括:带质量分档(A–D 级)的舆情聚合报告、含 24 项风险指标的实时行情快照、sha256 可校验的批量下载交付包,以及一键生成的 Markdown 分析回执。v12 新增信息获取编排引擎,用户用自然语言描述需求后,系统自动完成意图路由→数据源选择→智能降级抓取→去重评分→能力边界声明→打包交付的全流程,无需手动拼接工具链。

技能包含

  • SKILL.md(本文件):技能主说明,涵盖 8 类意图入口、能力边界与三层依赖安装指引
  • README.md:完整功能清单、MCP 工具表(110 工具 / 10 Resource / 14 Prompt)与变更日志
  • mcp_server.py:MCP 服务端入口,暴露金融数据查询与舆情爬取工具集
  • scripts/:可执行辅助脚本,含 pipeline_runner.py(一键编排)、crawl_packager.py(交付包自证)、login_session.py(登录态脱敏接管)、反爬增强与数据分析增强模块
  • data/:43 组机构名单 JSON(银行、证券、保险、基金、期货、信托、AMC、地方金控等)、舆情源配置、验证规则与样本报告
  • run_knowledge.py:知识库同步入口,支持 IMA / Dify / Obsidian / 本地仓库的入库与校对
  • requirements.txt:Python 依赖清单
  • evals/evals.json:评估用例配置
  • macros/demo_macro.json:演示宏配置

核心能力

  • 一键信息编排:自然语言输入自动路由至 8 类意图(舆情/网页/搜索后抓/机构/行情/公告/文档/登录页),生成可预览执行计划(dry_run),实跑后输出含质量分与能力边界的 Markdown 回执
  • 多源金融数据桥接:36 种查询类型统一入口,akshare → 东方财富 API → 新浪 → yfinance → RSS → 搜索六级自动降级,带健康追踪与缓存
  • 全网舆情监控:60+ 商业财经媒体 + RSS 直连 + 搜索引擎 + akshare 兜底,支持情感分级、严重度标注、模糊去重与跨源验证
  • 实时行情与风险指标:股票/基金/可转债/期货/宏观(GDP·CPI·PPI·PMI)/Shibor/港股美股数据,内置 24 项指标引擎(年化收益、波动率、最大回撤、夏普比率、卡玛比率等)
  • 智能爬取降级链:API → HTTP → 浏览器(Playwright)三级自动降级,类人行为模拟(贝塞尔鼠标轨迹、阅读停顿、四种滚动模式),单例复用与验证码人工接管
  • 交付包自证完整性:批量下载自动生成 sha256 校验清单,支持整包验证、失败项单独重下、校验不通过 exit 2 便于脚本判断
  • 登录态安全接管:Cookie 全脱敏存储,用户自主导出或扫码建档后,可抓取登录后可见页面,探测无稳定证据时返回 unknown 不硬猜
  • 机构全景查询:2334 家/43 大类金融机构名单,含注册表、官网补全与 A 股名单更新能力
  • 深度分析增强:关键词实体抽取、趋势异常检测、同业对标、洞察生成与时间分桶聚合
  • 多格式报告导出:Word / Excel / PPT / PDF / HTML 网页版,支持语音交互输入(Windows SAPI)

应用场景

用户怎么说本技能做什么
"帮我爬一下贵州茅台最近7天的负面舆情,导出 Excel"路由至 sentiment 意图,抓取 60+ 媒体源,情感分级后聚合为带 A–D 质量分的 Markdown 报告,可选打包为 sha256 可校验的 ZIP 交付包
"我已经登录了雪球,用我的会话抓一下这个页面"检测登录态档案,脱敏调用 Cookie,通过 browser_human_fetch 抓取登录后内容,无稳定证据时明确返回 unknown 并附 HTTP 诊断
"这批公告 PDF 全部下载下来,给我一个能校验的交付包"批量下载公告文件,生成 manifest 与 sha256 校验清单,打包为可验证的 ZIP,支持失败项单独重试与整包完整性校验
"先别真跑,把计划和数据源给我看一下再决定"执行 dry_run 模式,输出意图路由结论、数据源选择、预期耗时、能力边界与缺口分析,用户确认后再发真实请求
"510300 现在价格和今日走势,顺便算下夏普比率"调用行情接口获取实时数据,同步计算 24 项风险指标,输出含走势摘要与指标解读的结构化报告
"查一下招商证券的官网信息,顺便看看同类券商对比"查询机构注册表获取官网与基本信息,调用同业对标分析生成截面比较与洞察
"把这篇网页完整归档,包含图片和表格"智能识别页面类型,提取正文、表格与键值块,输出完整 Markdown 归档,动态页自动启用 Playwright
"分析这份 PDF 财报,同步到 Obsidian 知识库"解析 PDF 内容,执行财报自动解读(业绩概览/同比环比/ROE/毛利率/现金流),通过 run_knowledge.py 同步至指定知识库并校对