ForgeRSS

# 方式一：使用 docker-compose（推荐）
git clone https://github.com/tmwgsicp/ForgeRSS.git
cd forgerss
docker-compose up

# 方式二：直接运行
docker run -v ./feeds:/app/feeds tmwgsicp/ForgeRSS:latest

# 克隆项目
git clone https://github.com/tmwgsicp/ForgeRSS.git
cd forgerss

# 安装依赖
pip install -r requirements.txt

# (可选) 抖音视频下载需要 ffmpeg
# Windows: scoop install ffmpeg   或   choco install ffmpeg
# macOS:   brew install ffmpeg
# Linux:   sudo apt install ffmpeg / sudo dnf install ffmpeg
# 验证：    ffmpeg -version

# 运行所有生成器
python scripts/run_all.py

# 运行单个生成器
python scripts/run_single.py anthropic_news --max 20

# 运行 AI 编程工具文档生成器
python scripts/run_single.py cursor_docs --max 100

# 运行社交媒体生成器（需先登录，见下方说明）
python scripts/run_single.py zhihu_hot --max 30
BILIBILI_UP_MID=546195 python scripts/run_single.py bilibili_up --max 10
XHS_USER_ID=664f367c00000000070064da python scripts/run_single.py xiaohongshu_user --max 10
ZSXQ_GROUP_ID=88514182418182 python scripts/run_single.py zsxq_topics --max 20

# 运行巨潮公告（按主题关键词）
CNINFO_KEYWORDS=股权激励 python scripts/run_single.py cninfo_announcements --max 20

# 运行 NMPA 药品公告抓取（需桌面环境）
python scripts/run_single.py nmpa_drug --max 30

# 或直接调用，支持翻页
python generators/medical/nmpa_drug.py --max 30 --pages 2 --full

# 运行后推送到 GitHub
python scripts/run_single.py nmpa_drug --max 50
git add feeds/ cache/
git commit -m "chore: update NMPA feed"
git push

from generators.base import Article, BaseFeedGenerator
from generators.utils import smart_fetch

class MyGovGenerator(BaseFeedGenerator):
    FEED_NAME = "my_gov"
    FEED_TITLE = "某政府网站"
    FEED_URL = "https://www.example.gov.cn/news/"
    
    # 设置反爬等级为 2（强反爬）
    ANTI_BOT_LEVEL = 2
    CONTENT_CHECK = "/news/"  # 验证抓取成功的字符串
    
    def fetch_articles(self) -> list[Article]:
        html = smart_fetch(
            self.FEED_URL,
            anti_bot_level=self.ANTI_BOT_LEVEL,
            content_check=self.CONTENT_CHECK,
            selenium_wait=8,
        )
        # 解析 HTML，返回 Article 列表
        ...

# 知乎
python -m generators.social.zhihu.scraper --login

# B 站
python -m generators.social.bilibili.scraper --login

# 小红书
python -m generators.social.xiaohongshu.scraper --login

# 知识星球
python -m generators.social.zsxq.scraper --login

# 抖音（视频下载需 ffmpeg）
python -m generators.social.douyin.scraper --login

# 快手
python -m generators.social.kuaishou.scraper --login

# 微博
python -m generators.social.weibo.scraper --login

python tools/test_login_check.py zhihu
python tools/test_login_check.py bilibili
python tools/test_login_check.py xiaohongshu
python tools/test_login_check.py zsxq

# 知乎热榜（无需额外配置）
python scripts/run_single.py zhihu_hot --max 50

# 知乎用户动态
ZHIHU_USER_ID=excited-vczh python scripts/run_single.py zhihu_user --max 20

# B 站 UP 主视频（多个用逗号分隔）
BILIBILI_UP_MID="546195,12345678" python scripts/run_single.py bilibili_up --max 20

# 小红书用户笔记（接受纯 user_id 或完整主页 URL，URL 形式更稳）
XHS_USER_ID="664f367c00000000070064da" python scripts/run_single.py xiaohongshu_user --max 10
XHS_USER_ID="https://www.xiaohongshu.com/user/profile/664f367c00000000070064da?xsec_token=..." \
  python scripts/run_single.py xiaohongshu_user --max 10

# 知识星球话题（接受纯 group_id 或完整 URL，可下载帖内附件）
ZSXQ_GROUP_ID="88514182418182" ZSXQ_DOWNLOAD_ATTACHMENTS=true \
  python scripts/run_single.py zsxq_topics --max 20

# 抖音用户视频（接受 sec_uid / 完整 URL / 分享短链；下载需 ffmpeg）
DOUYIN_SEC_UID="MS4wLjABAAAAxxxx" python scripts/run_single.py douyin_user --max 10
# 或：DOUYIN_SEC_UID="https://v.douyin.com/<code>/" ...
DOUYIN_SEC_UID="MS4wLjABAAAAxxxx" DOUYIN_DOWNLOAD_VIDEOS=true \
  python scripts/run_single.py douyin_user --max 5

# 快手用户视频（接受用户 id / 完整 URL / 分享短链；单文件 mp4，免 ffmpeg）
KUAISHOU_USER_ID="3xxxxxxxxxxxxxx" python scripts/run_single.py kuaishou_user --max 10
KUAISHOU_USER_ID="https://v.kuaishou.com/<code>/" KUAISHOU_DOWNLOAD_VIDEOS=true \
  python scripts/run_single.py kuaishou_user --max 5

# 微博用户（自动识别纯文字 / 图文 / 纯图 / 视频四种帖型）
WEIBO_USER_ID="1234567890" python scripts/run_single.py weibo_user --max 10
# 或粘贴完整 URL：
WEIBO_USER_ID="https://weibo.com/u/1234567890" python scripts/run_single.py weibo_user --max 10

# 1) 按主题关键词（推荐）：股权激励、回购、业绩快报等
CNINFO_KEYWORDS="股权激励,业绩快报" python scripts/run_single.py cninfo_announcements

# 2) 按分类：全市场年报、半年报、季报等
CNINFO_CATEGORY=category_ndbg_szsh python scripts/run_single.py cninfo_announcements

# 3) 默认：按市场拉最新（sze + sse）
python scripts/run_single.py cninfo_announcements

# 同时下载 PDF（默认 true）
CNINFO_DOWNLOAD_PDF=true python scripts/run_single.py cninfo_announcements

# 订阅一个用户，自动追新（接受 uid / 完整 URL）
XUEQIU_USER_ID="8353550788" python scripts/run_single.py xueqiu_user --max 20
XUEQIU_USER_ID="https://xueqiu.com/u/8353550788" python scripts/run_single.py xueqiu_user --max 20

# 多账号合并到同一 Feed（逗号分隔）
XUEQIU_USER_ID="8353550788,1247347556" python scripts/run_single.py xueqiu_user --max 20

# 订阅一个节目，自动追新
XIAOYUZHOU_PODCAST_ID="63b7c6697dcc05cd33b51cd5" \
  python scripts/run_single.py xiaoyuzhou --max 10

# 也可以直接粘贴节目主页 URL
XIAOYUZHOU_PODCAST_ID="https://www.xiaoyuzhoufm.com/podcast/63b7c6697dcc05cd33b51cd5" \
  python scripts/run_single.py xiaoyuzhou --max 10

# 可选：下载每集 mp3 到本地（默认 false）
XIAOYUZHOU_PODCAST_ID="<id>" XIAOYUZHOU_DOWNLOAD_AUDIO=true \
  python scripts/run_single.py xiaoyuzhou --max 5

from generators.base import Article, BaseFeedGenerator
from generators.utils import smart_fetch

class MyGenerator(BaseFeedGenerator):
    FEED_NAME = "my_source"
    FEED_TITLE = "My Source"
    FEED_URL = "https://example.com/blog"
    FEED_DESCRIPTION = "Example blog feed"
    
    # curl_cffi 能抓到设为 False，需要 JS 渲染设为 True
    REQUIRE_JS = False
    CONTENT_CHECK = "/blog/"  # 验证抓取成功的字符串
    
    def fetch_articles(self) -> list[Article]:
        html = smart_fetch(self.FEED_URL, require_js=self.REQUIRE_JS)
        # 解析 HTML，返回 Article 列表
        ...

class MyGovGenerator(BaseFeedGenerator):
    FEED_NAME = "my_gov"
    FEED_TITLE = "某政府网站"
    FEED_URL = "https://www.example.gov.cn/news/"
    
    ANTI_BOT_LEVEL = 2  # 强反爬
    CONTENT_CHECK = "/news/"
    
    def fetch_articles(self) -> list[Article]:
        html = smart_fetch(
            self.FEED_URL,
            anti_bot_level=self.ANTI_BOT_LEVEL,
            content_check=self.CONTENT_CHECK,
        )
        ...

# 日志级别
LOG_LEVEL=INFO

# 每个 Feed 最大文章数
MAX_ARTICLES=50

# 运行间隔（秒），Docker 持久运行模式
RUN_INTERVAL=21600  # 默认 6 小时

# 社交媒体配置
ZHIHU_USER_ID=excited-vczh                          # 知乎用户（逗号分隔多个）
BILIBILI_UP_MID=546195                              # B 站 UP 主（逗号分隔多个）
XHS_USER_ID=664f367c00000000070064da                # 小红书用户（也可以是完整 URL；逗号分隔多个）
ZSXQ_GROUP_ID=88514182418182                        # 知识星球群组（也可以是完整 URL；逗号分隔多个）
DOUYIN_SEC_UID=MS4wLjABAAAAxxxx                     # 抖音用户（也可以是完整 URL / 分享短链；逗号分隔多个）
KUAISHOU_USER_ID=3xxxxxxxxxxxxxx                    # 快手用户（也可以是完整 URL / 分享短链；逗号分隔多个）
WEIBO_USER_ID=1234567890                            # 微博用户（也可以是完整 URL；逗号分隔多个）
XIAOYUZHOU_PODCAST_ID=63b7c6697dcc05cd33b51cd5      # 小宇宙节目（也可以是完整 URL；逗号分隔多个）
XUEQIU_USER_ID=8353550788                           # 雪球用户（也可以是完整 URL；逗号分隔多个）

# 可选下载（默认 false）
BILIBILI_DOWNLOAD_VIDEOS=true                       # B 站视频下载
XHS_DOWNLOAD_MEDIA=true                             # 小红书媒体
ZSXQ_DOWNLOAD_ATTACHMENTS=true                      # 知识星球附件（PDF/音频/图片）
DOUYIN_DOWNLOAD_VIDEOS=true                         # 抖音视频下载（需 ffmpeg）
DOUYIN_DOWNLOAD_IMAGES=true                         # 抖音图文笔记图片下载（不需 ffmpeg）
KUAISHOU_DOWNLOAD_VIDEOS=true                       # 快手视频下载（单文件，免 ffmpeg）
WEIBO_DOWNLOAD_VIDEOS=true                          # 微博视频帖下载
XIAOYUZHOU_DOWNLOAD_AUDIO=true                      # 小宇宙音频下载（mp3）

# 巨潮资讯（三选一）
CNINFO_KEYWORDS="股权激励,业绩快报"                  # 按主题关键词
# CNINFO_CATEGORY=category_ndbg_szsh                # 或按分类（全市场年报等；多个用英文分号隔开）
# 留空 = 按市场拉最新
CNINFO_DOWNLOAD_PDF=true                            # PDF 自动下载（默认 true）