Forem: muskert

用 Apify 搭建 HackerNews Firefeed：Firebase API 实时抓取热门内容

muskert — Tue, 28 Apr 2026 16:13:58 +0000

用 Apify 搭建 HackerNews Firefeed：Firebase API 实时抓取热门内容

Hacker News（HN）每天产生大量高质量的技术讨论和社区内容。很多科技公司、投资人、研究者都在追踪 HN 上的热门内容——这对科技趋势监控、早期产品信号捕捉、AI 训练数据收集都有巨大价值。

这篇文章介绍如何用 Apify Actor 构建一个 HN Firefeed 爬虫，基于 HN 官方 Firebase API，稳定高效地抓取热门、最新、最佳帖子和嵌套评论数据。

为什么选 Firebase API？

HN 官方将数据同步到 Firebase 平台，提供了一套公开的 REST API：

https://hacker-news.firebaseio.com/v0/topstories.json
https://hacker-news.firebaseio.com/v0/item/{id}.json

核心优势：

官方 API，完全合规，无需绕反爬
纯 HTTP 请求，响应速度极快（<50ms）
数据结构化，含完整评论嵌套结构
无需登录、无需 API key
支持 ASK_HN、SHOW_HN 等特殊 Feed

Feed 类型全解析

Feed 类型	用途	说明
top	热门帖	按评分排序
new	最新帖	按发布时间排序
best	最佳帖	社区精选高质量内容
ask_hn	Ask HN	用户提问帖精华
show_hn	Show HN	用户展示项目帖

快速开始

访问 HackerNews Firefeed Scraper 获取工具。

技术实现

HN Firebase API 返回结构化 JSON，通过 parent-kids 嵌套结构组织评论：

def fetch_kids(kids, depth=0):
    if depth >= max_depth or len(comments) >= max_comments:
        return
    for kid_id in kids[:5]:
        item = get_item(kid_id)
        if item and item.get("type") == "comment":
            comments.append(parse_comment(item, depth))
            fetch_kids(item["kids"], depth + 1)

定价策略

Actor 采用 pay-per-result 定价：$0.0001–0.001 / 条帖子，Apify $5/月免费额度足够日常使用。

后续优化方向

添加 GPT 情感分析评分
定时调度每日自动推送趋势报告
集成 Google Sheets / Airtable 导出

相关链接：

HackerNews Firefeed Scraper（Apify Store）
HN Firebase API
xiaclaw2018/apify-scraper（GitHub）

用 Apify 搭建 Hacker News 评论爬虫：用 Algolia API 提取科技社区深度讨论

muskert — Mon, 27 Apr 2026 16:16:04 +0000

用 Apify 搭建 Hacker News 评论爬虫：用 Algolia API 提取科技社区深度讨论

Hacker News（简称 HN）是硅谷科技圈最核心的新闻聚合社区。每一条热门 story 下面，都有深度的技术讨论——这是做科技市场调研、竞品分析、舆情监控最真实的一手数据宝库。

但 HN 的官方界面没有提供方便的数据导出工具。想批量抓取评论、做趋势分析，纯手工操作根本不可能。

这篇文章介绍如何用 Apify Actor 快速搭建一个 HN 评论爬虫，基于 HN 官方 Algolia API，每小时可抓取数千条评论数据，不需要浏览器，不消耗代理资源，稳定高效。

为什么选 Algolia API？

HN 官方使用 Algolia 提供搜索服务，而 Algolia 的 HN 搜索 endpoint 是公开的，无需 API key，直接请求即可：

https://hn.algolia.com/api/v1/search?query=AI&tags=story

这个 API 返回：

按相关性排序的故事列表
每条故事的标题、URL、分数、评论数、作者、发布时间
支持时间范围过滤和自定义排序

配合 https://hn.algolia.com/api/v1/items/{id} endpoint，还能获取任意故事的完整嵌套评论结构。

核心优势：

无需登录、无需 API key
纯 HTTP 请求，速度快（<100ms 响应）
数据结构化（JSON）
不需要浏览器，资源消耗极低

快速开始

第一步：在 Apify 上找到现成工具

直接访问 Hacker News Comment Scraper，这是本文对应的 Apify Actor。

第二步：配置输入参数

支持 5 种工作模式：

1. search（关键词搜索）

{
  "mode": "search",
  "searchQuery": "AI startup tools",
  "maxStories": 10
}

2. top（热门排行）

{
  "mode": "top",
  "period": "day",
  "maxStories": 20
}

period 可选：day / week / month / year / all

3. new（最新故事）

{
  "mode": "new",
  "maxStories": 30
}

4. comments（评论抓取）

{
  "mode": "comments",
  "storyId": "41870040",
  "maxComments": 50,
  "maxReplies": 5,
  "outputFormat": "threaded"
}

outputFormat 可选 threaded（嵌套结构）或 flat（扁平列表）。

5. full（全量模式）
一次性搜索故事 + 抓取评论，结果包含故事元数据和完整评论树。

第三步：获取结构化数据

运行完成后，数据以 JSON 格式输出，包含：

{
  "mode": "search",
  "query": "AI startup tools",
  "stories_found": 10,
  "items": [
    {
      "id": "41870040",
      "title": "Adobe's new image rotation tool...",
      "url": "https://news.ycombinator.com/item?id=41870040",
      "points": 912,
      "author": "ralusek",
      "num_comments": 268,
      "created_at": "2024-10-17T14:31:18Z"
    }
  ],
  "meta": {
    "actor": "hackernews-comment-scraper",
    "version": "0.2",
    "scraped_at_utc": "2026-04-27T10:00:00Z"
  }
}

评论模式输出：

{
  "story": {
    "story_id": "41870040",
    "story_title": "...",
    "story_points": 912,
    "comments": [
      {
        "id": 41870041,
        "author": "ralusek",
        "text": "Pretty incredible",
        "depth": 0,
        "children": [
          {
            "id": 41870101,
            "author": "jprd",
            "text": "Completely agree...",
            "depth": 1
          }
        ]
      }
    ],
    "total_comments": 258
  }
}

典型应用场景

场景一：科技趋势监控

每天定时抓取 HN 热门故事，了解本周最火的 AI 工具、编程语言、框架趋势。

推荐配置： mode: top, period: week, maxStories: 30

场景二：竞品舆情分析

监控竞品相关的关键词（如公司名、产品名），实时追踪社区讨论。

推荐配置： mode: search, searchQuery: "yourcompetitor", maxStories: 50

场景三：社区情绪分析

抓取特定话题的评论，配合 GPT 做情感分类，识别用户真实态度。

推荐配置： mode: comments, storyId: <target>, outputFormat: flat

场景四：创业情报收集

HN 是创业者的聚集地。监控 show hn 和 ask hn 类型的故事，发现新产品的早期用户反馈。

{
  "mode": "search",
  "searchQuery": "show hn OR ask hn",
  "maxStories": 20
}

技术实现细节

核心 API 调用

故事搜索（Algolia）：

GET https://hn.algolia.com/api/v1/search
  ?query=<关键词>
  &tags=story
  &hitsPerPage=<数量>
  &numericFilters=created_at_i><时间戳>
  &customRanking=desc(points)

评论抓取（HN Items API）：

GET https://hn.algolia.com/api/v1/items/<story_id>

返回嵌套的 children 数组，每条评论包含：

id：评论唯一 ID
author：作者名
text：评论内容（HTML，需处理）
created_at：发布时间
children：嵌套回复

Python 实现核心代码

import requests
from urllib.parse import quote

ALGOLIA_URL = "https://hn.algolia.com/api/v1"

def search_stories(query, max_stories=10):
    url = f"{ALGOLIA_URL}/search?query={quote(query)}&tags=story&hitsPerPage={max_stories}"
    resp = requests.get(url, headers={"User-Agent": "Apify-HN/1.0"})
    data = resp.json()
    return [{
        "id": hit["objectID"],
        "title": hit["title"],
        "url": hit.get("url") or f"https://news.ycombinator.com/item?id={hit['objectID']}",
        "points": hit.get("points", 0),
        "author": hit.get("author", "unknown"),
        "num_comments": hit.get("num_comments", 0),
    } for hit in data.get("hits", [])]

def get_comments(story_id, max_comments=50):
    url = f"{ALGOLIA_URL}/items/{story_id}"
    resp = requests.get(url)
    data = resp.json()

    def flatten(comments, depth=0):
        result = []
        for c in comments[:max_comments]:
            result.append({
                "id": c["id"],
                "author": c.get("author", "[deleted]"),
                "text": strip_html(c.get("text", "")),
                "depth": depth,
                "children": flatten(c.get("children", []), depth + 1)
            })
        return result

    return flatten(data.get("children", []))

数据处理注意事项

HTML 转义：评论内容返回的是转义 HTML（如 & <），需要用 html.unescape() 或正则清理
时间格式：Algolia 返回 ISO 8601 格式，转换为时间戳需要 datetime.fromisoformat()
分页处理：大量评论时需要多次请求（Algolia 单次最多 1000 条）

如何接入自己的应用

Apify Actor 提供完整的 REST API，可以直接在代码中调用：

import requests, json

def run_apify_actor(actor_id, token, input_data):
    # Start actor run
    start_resp = requests.post(
        f"https://api.apify.com/v2/acts/{actor_id}/runs",
        json={"token": token, "input": input_data}
    )
    run_id = start_resp.json()["data"]["id"]

    # Wait for completion
    import time
    while True:
        status = requests.get(
            f"https://api.apify.com/v2/acts/{actor_id}/runs/{run_id}",
            params={"token": token}
        ).json()["data"]["status"]
        if status == "SUCCEEDED":
            break
        time.sleep(5)

    # Get dataset
    dataset_id = requests.get(
        f"https://api.apify.com/v2/acts/{actor_id}/runs/{run_id}/dataset",
        params={"token": token}
    ).json()["data"]["id"]

    items = requests.get(
        f"https://api.apify.com/v2/datasets/{dataset_id}/items",
        params={"token": token}
    ).json()

    return items

定价与资源

该 Actor 使用纯 HTTP 请求，资源消耗极低：

每次运行 CPU 时间：< 5 秒
内存使用：< 64 MB
典型请求成本：$0.0001 – $0.001 / 次

Apify 免费额度 $5/月，可支持数千次调用。

总结

Hacker News 评论爬虫是科技圈市场调研和舆情分析的利器。基于 Algolia API 的实现方案，无需浏览器，速度快，成本低，稳定可靠。

配合 Apify 的定时任务功能，还可以每天自动抓取热门话题，建立自己的科技趋势数据库——这比花几百块买研报便宜太多了，而且数据是一手的。

相关链接：

YouTube Transcript Scraper: 提取视频字幕的免费工具

muskert — Sun, 26 Apr 2026 16:17:54 +0000

YouTube Transcript Scraper: 提取视频字幕的免费工具

做内容创作、市场研究或者SEO的朋友，经常会遇到这样的问题：看到一个YouTube视频觉得内容不错，但想把里面的文字内容提取出来做二次加工，却不知道怎么弄。YouTube官方有API，但申请麻烦还要审核。今天推荐一个免费工具 YouTube Transcript Scraper，可以直接抓取任意YouTube视频的字幕。

这个工具能做什么

YouTube Transcript Scraper 是一个基于Apify的爬虫工具，主要功能就是从YouTube视频中提取字幕文本。它的使用场景很广：

内容创作：很多YouTube教程视频质量很高，创作者可以用字幕做摘要、文案改编，或者做多语言翻译版本。特别是那些有高质量人工字幕的教学视频，文字质量比自动生成的强很多。

市场研究：出海团队需要研究竞品的技术视频、产品演示、或者行业专家的分享，直接提取文字比听录音效率高得多。一小时的产品讲解，5分钟就能拿到完整的文字稿。

SEO优化：视频字幕是Google SEO的重要参考内容。提取字幕后可以做关键词分析、内容重构、或者生成博客文章。一份好的技术教程视频，提取字幕后改编成文章，搜索流量很可观。

语言学习：字幕有时间戳，配合视频学习比单纯看文字效果好很多。支持不同语言字幕提取，对学外语的朋友也很实用。

技术实现

这个工具用 Python 开发，数据抓取完全通过 HTTP 请求完成，不需要Selenium这样的浏览器自动化方案，所以运行速度很快、资源消耗低。

字幕提取的核心逻辑是利用YouTube自身的字幕接口。YouTube在播放视频时会在页面嵌入字幕信息，通过解析这个数据可以直接拿到字幕XML。工具支持多种字幕格式的解析，包括srv1/srv2/srv3格式的YouTube原生XML、TTML格式、以及WebVTT格式。自动生成的字幕和人工制作的字幕都能处理。

视频元数据抓取从视频页面提取标题、频道、观看数、点赞数、发布时期、时长等基础信息，这些数据对于后续的内容分析很有价值。

搜索模式可以直接输入关键词搜索YouTube视频，然后批量处理多个视频的字幕。对于需要追踪某个话题相关视频的场景，这个功能特别实用。

快速开始

方式一：在Apify上直接使用

访问 https://apify.com/yawning_pit/youtube-transcript-scraper，这个工具已经部署到Apify平台，不需要自己搭建服务器。

输入参数很简单：

Mode：选择 url（单个视频）或 search（关键词搜索）
Video URL：单个视频时填入YouTube链接
Search Query：搜索模式时填入关键词
Include Timestamps：是否保留时间戳
Language：指定字幕语言，如 en、zh、es 等

方式二：本地运行

如果想自己部署，可以直接Clone代码到本地运行：

# Clone项目
git clone https://github.com/xiaclaw2018/devnest
cd devnest/staging/actors/youtube-transcript-scraper

# 安装依赖
pip install requests beautifulsoup4 lxml

# 运行
python src/main.py < test_input.json

test_input.json 示例：

{
  "mode": "url",
  "videoUrl": "https://www.youtube.com/watch?v=dQw4w9WgXcQ",
  "includeTimestamps": true,
  "language": "en"
}

输出格式

工具输出的JSON包含完整的字幕数据：

{
  "mode": "url",
  "items": [{
    "video_id": "dQw4w9WgXcQ",
    "title": "视频标题",
    "channel": "频道名",
    "view_count": 1000000,
    "like_count": 50000,
    "caption_type": "srv1",
    "transcript": [
      "[00:00] 字幕第一段",
      "[00:15] 字幕第二段"
    ],
    "transcript_text": "完整字幕文本，所有时间戳合并",
    "transcript_segments": 120,
    "language_requested": "en"
  }],
  "meta": {
    "actor": "youtube-transcript-scraper",
    "version": "0.1",
    "scraped_at_utc": "2026-04-26T12:00:00"
  }
}

适用场景举例

教程视频内容改编：假设你找到了一个关于Python爬虫的技术教程视频，时长45分钟，有高质量英文字幕。用这个工具5秒钟提取完整字幕，然后改编成中文技术博客。一篇高质量的原创文章，可能带来几百到几千的搜索流量。

竞品分析：你想了解某个领域的头部竞品在做什么，可以搜索相关关键词找到他们的YouTube频道视频，批量提取字幕分析他们的产品策略、技术方向。这个方法比看视频效率高很多，而且可以系统化地做。

多语言内容矩阵：字幕提取后配合翻译API，可以快速生成多语言版本的内容。这个对于做出海内容的团队特别有价值，一份好的英文内容可以改编成中文、西班牙语、法语等多个版本。

局限性

这个工具不是万能的，有几个限制需要注意：

没有字幕的视频：有些视频作者关闭了字幕功能，或者视频内容本身就是纯音乐、没有语音，这种情况下抓不到字幕。

自动字幕质量参差：YouTube的自动字幕是机器转写，对专业术语、口音重的情况识别准确度会下降。特别是中文的自动字幕，目前质量还是比较一般。

搜索模式依赖页面解析：搜索YouTube视频通过页面抓取实现，YouTube随时可能改页面结构导致搜索结果为空。如果需要大规模搜索，还是建议用YouTube官方的Data API。

定价

这个工具在Apify Store是免费使用的基础版本，适合个人或者小规模数据采集。如果需要更高并发、更大规模的使用，可以设置pay-per-result的按量付费模式，成本可控。

整体来说，YouTube Transcript Scraper 是一个很实用的垂直场景工具。对于需要频繁处理YouTube视频文字内容的朋友，能显著提升工作效率。工具本身代码量不大，部署和使用都很简单，推荐试试看。

Reddit Subreddit Tracker 深度测评：批量追踪 Reddit 热门内容

muskert — Sat, 25 Apr 2026 16:39:04 +0000

Reddit Subreddit Tracker 深度测评：批量追踪 Reddit 热门内容，一键提取 engagement 信号

做出海产品、搞科研分析、盯市场舆情——你可能都需要从 Reddit 提取某个 Subreddit 的热门讨论。

Reddit 本身的搜索和排序功能用起来不够顺手，多个 Subreddit 同时监控更是麻烦。今天推荐一个可以批量追踪 Subreddit 热门内容并提取 engagement 数据的 Apify Actor：Reddit Subreddit Tracker。

这个工具能做什么

Reddit Subreddit Tracker 是一个 Cheerio + Reddit JSON API 驱动的轻量爬虫，核心能力：

多 Subreddit 批量追踪：输入多个 Subreddit 名称，一次性抓取
多种排序方式：hot / new / top / rising，适应不同场景
engagement 信号提取：每条帖子自动计算 engagement rate（score + 2×comments）/ score
Flair 过滤：按帖子标签（flair）筛选，只看感兴趣的分类
最小 score 过滤：过滤低质量帖子，只保留有热度的内容
可选评论抓取：开启后取每条帖子 top 3 评论做快速预览

输出结构化 JSON，每条帖子包含：post_id、title、author、score、num_comments、flair、domain、permalink 等完整字段。

典型使用场景

场景一：独立开发者市场调研

监控 r/SideProject、r/indiedev、r/startups，找出最近讨论量激增的产品方向。比如某天你发现 r/buildingsideprojects 的帖子讨论 AI coding tools 突然增多，这就是一个信号。

场景二：学术舆情研究

抓取特定话题（如 "climate change"、"AI regulation"）在多个相关 Subreddit 的讨论数据，进行文本分析或情感分析。 Reddit 用户的高赞评论往往是高质量的观点表达。

场景三：竞品监控

盯着你的竞品或行业关键词出现在哪些 Subreddit，讨论量和 sentiment 变化如何。配合时序数据，可以画出舆情走势图。

如何使用

方式一：在 Apify Store 直接调用

打开 https://apify.com/yawning_pit/reddit-subreddit-tracker
输入 Subreddits（如 programming,technology,artificial）
选择排序方式（推荐 top，更适合找出高影响力内容）
设置 limit 和 filters
点击「Start」，坐等数据

方式二：API 调用（适合集成）

import requests

url = "https://api.apify.com/v2/acts/yawning_pit~reddit-subreddit-tracker/runs"
payload = {
    "subreddits": "programming,technology,artificial",
    "sort": "top",
    "limit": 10,
    "flair_filter": "Discussion",
    "include_comments": True
}
headers = {"Authorization": "Bearer YOUR_APIFY_TOKEN"}

response = requests.post(url, json=payload, headers=headers)
run_id = response.json()["data"]["id"]

方式三：本地调试

cd actors/reddit-subreddit-tracker
echo '{"subreddits":"programming","sort":"top","limit":5}' | python3 src/main.py

定价逻辑

Apify 的免费额度（$5/月）可以支撑相当数量的请求。典型抓取场景：

每次请求 3 个 Subreddit，每个 10 条 posts → 30 条数据
按 pay-per-result 计费，约 $0.0003-$0.003/次

局限性

依赖 Reddit API：Reddit 有时会限流，大规模抓取需要代理池
无认证内容：Reddit NSFW 内容需要登录后才能访问
评论抓取有限：默认只取 top 3 评论，更深层评论需要二次调用

总结

Reddit 是出海产品不可忽视的情报源——它汇聚了大量真实用户的讨论。Reddit Subreddit Tracker 把「批量监控 Subreddit」这件事简化到一次 API 调用，适合所有需要 Reddit 数据但不想自己造轮子的开发者。

相关工具：

Reddit Comment Scraper — 深入抓取单帖评论
HackerNews Comment Scraper — HN 评论抓取

Test minimal

muskert — Sat, 25 Apr 2026 16:37:55 +0000

Test

Test content

Build a Reddit Comment Scraper with Apify: Extract Deep Discussion Data in Minutes

muskert — Sat, 25 Apr 2026 09:57:19 +0000

Build a Reddit Comment Scraper with Apify: Extract Deep Discussion Data in Minutes

If you've ever wanted to analyze what people are actually saying on Reddit — not just the post titles, but the full thread of comments, the debate, the nuance — you know how painful it is to get that data reliably. Reddit's official API is rate-limited, third-party tools are often paywalled, and browser automation is fragile.

This tutorial shows you how to build your own Reddit Comment Scraper using Apify and Python. By the end, you'll have an Apify Actor that can:

Scrape comments from any Reddit post URL
Search posts by keyword across Reddit (or within a specific subreddit)
Extract rich metadata: author, karma, upvotes, downvotes, gilded status, timestamps, and nested replies
Run on Apify's infrastructure for free (up to $5/month on the free tier)

Updated for 2026 — uses Pushshift API + Reddit JSON API for reliable data extraction without needing authentication.

Why Reddit Comment Data Is Valuable

Reddit is one of the richest sources of authentic public discourse on the internet. Unlike Twitter (now X), Reddit threads allow for deep, nested discussions that can span dozens of replies and reveal real sentiment, expertise, and community consensus.

Use cases:

Market Research: Understand what users genuinely think about a product
Sentiment Analysis: Train NLP models on real consumer opinions from niche communities
Academic Research: Study how communities discuss topics like AI, climate change, or political events
Competitor Monitoring: Track discussions about competitors in relevant subreddits
Content Inspiration: Find high-engagement post topics in your niche

Architecture Overview

Our scraper uses a two-layer approach:

Layer 1: Post Discovery (Pushshift API / Reddit Search)
         ↓ post URLs + metadata
Layer 2: Comment Extraction (Reddit JSON API .json endpoint)

This approach is authentication-free — we use public APIs that don't require Reddit login credentials.

Project Setup

Create the following file structure:

reddit-comment-scraper/
├── .actor/
│   └── actor.json
├── src/
│   └── main.py
├── Dockerfile
└── README.md

The Input Schema

The actor.json defines two input modes: url (scrape a specific post) and search (find posts by keyword). Key parameters include maxComments (up to 500), maxReplies per comment, and sort order (top, hot, new, controversial).

Core Scraper Logic

URL Parsing

import re
from urllib.parse import urlparse

def parse_reddit_url(url):
    path = urlparse(url).path.rstrip("/")
    match = re.match(r"/r/([^/]+)/comments/([a-zA-Z0-9]+)", path)
    if match:
        return match.group(1), match.group(2)
    match = re.match(r"/comments/([a-zA-Z0-9]+)", path)
    if match:
        return None, match.group(1)
    return None, None

Reddit JSON API

import requests
HEADERS = {"User-Agent": "ApifyRedditScraper/1.0 (by u/apify_dev)", "Accept": "application/json"}

def get_post_json(subreddit, post_id):
    if subreddit:
        url = f"https://www.reddit.com/r/{subreddit}/comments/{post_id}.json"
    else:
        url = f"https://www.reddit.com/comments/{post_id}.json"
    resp = requests.get(url, headers=HEADERS, timeout=20)
    if resp.status_code == 200:
        return resp.json()
    return None

Reddit's .json endpoint returns a two-element array: post metadata at [0] and the comment tree at [1].

Recursive Comment Extraction

def extract_comment(comment_data, depth=0, max_replies=5):
    data = comment_data.get("data", {})
    author = data.get("author", "[deleted]")
    body = data.get("body", "")
    if author == "[deleted]" or not body:
        return None
    return {
        "author": author,
        "body": body[:2000],
        "score": data.get("score", 0),
        "upvotes": data.get("ups", 0),
        "downvotes": data.get("downs", 0),
        "gilded": data.get("gilded", 0),
        "timestamp_utc": data.get("created_utc", 0),
        "depth": depth,
        "comment_id": data.get("id", ""),
        "permalink": f"https://www.reddit.com{data.get('permalink', '')}",
    }

Comment Tree Traversal

def extract_comments_listing(listing_data, max_comments=100, max_replies=5):
    comments = []
    count = 0
    def traverse(post_data, depth=0):
        nonlocal count
        if count >= max_comments:
            return
        kind = post_data.get("kind", "")
        data = post_data.get("data", {})
        if kind == "t1":
            comment = extract_comment(post_data, depth=depth)
            if comment:
                comments.append(comment)
                count += 1
            replies = data.get("replies", {})
            if isinstance(replies, dict):
                for reply in replies.get("data", {}).get("children", [])[:max_replies]:
                    traverse(reply, depth=depth + 1)
        elif kind == "Listing":
            for child in data.get("children", []):
                traverse(child, depth=depth)
    for post_data in listing_data:
        traverse(post_data)
    return comments

Post Discovery via Pushshift

def search_reddit_posts(query, subreddit="", limit=5):
    url = "https://api.pullpush.io/reddit/search/submission/"
    params = {"q": query, "sort": "desc", "sort_type": "score", "size": limit}
    if subreddit:
        params["subreddit"] = subreddit
    resp = requests.get(url, params=params, timeout=15)
    if resp.status_code == 200:
        return [{"title": p.get("title", ""), "post_id": p.get("id", ""),
                 "subreddit": p.get("subreddit", ""), "score": p.get("score", 0)}
                for p in resp.json().get("data", [])]
    return []

Dockerfile

FROM python:3.11-slim
WORKDIR /actor
RUN apt-get update && apt-get install -y wget curl && rm -rf /var/lib/apt/lists/*
RUN pip install --no-cache-dir requests beautifulsoup4 lxml
COPY src/ ./src/
CMD ["python3", "src/main.py"]

Deploy to Apify

npm install -g apify-cli
apify login
cd reddit-comment-scraper
apify actors push --version 0.1

Live at: https://apify.com/yawning_pit/reddit-comment-scraper

Example Output

{
  "mode": "url",
  "items": [{
    "type": "post",
    "title": "LLMs are killing my ability to code. I feel like a fraud.",
    "author": "throwaway_dev_42",
    "subreddit": "r/programming",
    "score": 4281,
    "comments": [{
      "author": "senior_eng_10yrs",
      "body": "This is a natural part of skill evolution...",
      "score": 1247,
      "depth": 0,
      "gilded": 2
    }],
    "comments_count": 100
  }]
}

Limitations

Deleted/Removed Comments: Skipped automatically
Rate Limiting: Space out large crawls
NSFW Content: Set over_18: True in input
Pushshift Stability: Fall back to Reddit native search if Pushshift is down

Next Steps

Add GPT-powered sentiment scoring per comment
Multi-subreddit simultaneous search
Time-series engagement tracking
CSV/Google Sheets export integration

Full source on GitHub: xiaclaw2018/devnest

Built with Apify, Python, and the public Reddit JSON API. No authentication required.

How to Scrape Hacker News Comments in 2026 — Free API

muskert — Wed, 22 Apr 2026 17:31:17 +0000

How to Scrape Hacker News Comments in 2026 — Free API

Level: Beginner to Intermediate

Stack: Python + Playwright + Apify Actor

Time: ~20 minutes

Cost: Free to develop, $0.0005 per comment on Apify

Why Scrape Hacker News Comments?

Hacker News is a goldmine of developer discussions, startup ideas, and technical debates. Building an app that taps into this conversation requires clean data — not screenscraped HTML chaos.

In this tutorial, I'll show you how to build a production-ready HN Comment Scraper using Apify and Playwright, then publish it to the Apify Store so anyone can use it.

What We're Building

A reusable Apify Actor that:

Accepts a HN story URL → scrapes all comments
OR accepts a keyword → searches HN Algolia → scrapes top stories' comments
Returns structured JSON with author, text, timestamp, depth, replies

Step 1 — Project Setup

npm install -g apify-cli
apify init hackernews-comment-scraper
cd hackernews-comment-scraper
mkdir -p src

Step 2 — Write the Scraper (src/main.py)

import asyncio
import json
from urllib.parse import quote

try:
    from playwright.async_api import async_playwright
except ImportError:
    import subprocess
    subprocess.check_call(["pip", "install", "playwright", "--quiet"])
    subprocess.check_call(["playwright", "install", "chromium", "--with-deps"])
    from playwright.async_api import async_playwright


async def scrape_comments(page, url, max_comments=50, max_replies=5):
    await page.goto(url, wait_until="domcontentloaded", timeout=30000)
    await page.wait_for_selector(".comment", timeout=15000)

    comments = []
    comment_elements = await page.query_selector_all(".comment")

    for i, el in enumerate(comment_elements[:max_comments]):
        try:
            author_el = await el.query_selector(".hnuser")
            author = await author_el.inner_text() if author_el else "unknown"

            text_el = await el.query_selector(".comment-body")
            text = await text_el.inner_text() if text_el else ""
            text = text.strip()

            time_el = await el.query_selector(".age")
            time = await time_el.get_attribute("title") if time_el else ""

            replies = []
            if max_replies > 0:
                reply_els = await el.query_selector_all(".comment")[:max_replies]
                for r in reply_els:
                    r_author = await (await r.query_selector(".hnuser")).inner_text() if await r.query_selector(".hnuser") else "unknown"
                    r_text = await (await r.query_selector(".comment-body")).inner_text() if await r.query_selector(".comment-body") else ""
                    replies.append({"author": r_author, "text": r_text.strip()})

            comments.append({
                "id": i,
                "author": author,
                "text": text,
                "timestamp": time,
                "replyCount": len(replies),
                "replies": replies
            })
        except Exception as e:
            continue

    return comments


async def main():
    async with async_playwright() as p:
        browser = await p.chromium.launch()
        page = await browser.new_page()

        story_url = "https://news.ycombinator.com/item?id=12345678"
        comments = await scrape_comments(page, story_url, max_comments=50, max_replies=3)

        print(json.dumps(comments, indent=2))

        await browser.close()


if __name__ == "__main__":
    asyncio.run(main())

Step 3 — Deploy to Apify

apify login
apify actors push

Set pricing to Pay-per-result at $0.0005 per comment returned.

Step 4 — Test the Actor

apify actors call ebS02wB1m9aZkUWL5 \
  --input '{"mode":"url","storyUrl":"https://news.ycombinator.com/item?id=12345678","maxComments":10}'

Live Actor

Try it on Apify Store →

The Actor supports two modes:

URL mode: Scrape comments from a specific HN story
Search mode: Search HN by keyword, scrape top story comments

Conclusion

With ~50 lines of Python + Playwright, you can build a production scraper on Apify and start earning passive income. The platform handles hosting, scaling, and billing — you just write the code.