Agent Reach und Scrapling: Claude Code liest das InternetAgent Reach and Scrapling: Claude Code reads the internet

Claude Code baut dir eine Funktion in zehn Minuten. Ein YouTube-Transkript holt es ohne Hilfe nicht.

Genau da setzen zwei Open-Source-Projekte an. Agent Reach gibt einem KI-Agenten Lesezugriff auf YouTube, RSS-Feeds, GitHub und eine semantische Websuche. Scrapling holt einzelne Webseiten, die normale Abrufe abblocken. Den Anstoß gab mir die Anleitung von Alan Langhammer (@alan.buildz). Ich habe beide Werkzeuge am 7. Oktober 2026 auf meinem Mac und auf meinem Server eingerichtet, in meinen Arbeitsablauf eingebaut und dabei zwei Stellen gefunden, an denen ich die Voreinstellungen nicht übernehme.

Was Agent Reach macht

Agent Reach ist kein eigener Scraper. Das Projekt sucht für jede Plattform das freie Werkzeug heraus, das gerade funktioniert, installiert es und prüft regelmäßig, ob der Weg noch offen ist. Für YouTube ist das yt-dlp, für Feeds feedparser, für die Websuche Exa über mcporter, für GitHub die offizielle gh-CLI. Fällt ein Weg aus, nimmt Agent Reach den nächsten aus einer festen Kette.

Den Zustand aller Kanäle zeigt ein einziger Befehl: agent-reach doctor. Er listet jeden Kanal, den gerade aktiven Weg und fehlende Anmeldungen. Bei jedem Problem ist das der erste Befehl.

Wo Scrapling ins Spiel kommt

Agent Reach denkt in Plattformen. Für eine einzelne Seite, die Bots abweist, reicht das nicht. Scrapling von Karim Shoair (D4Vinci) schließt diese Lücke. Der StealthyFetcher kommt laut Projekt an Cloudflare Turnstile vorbei. Mit auto_save=True merkt sich Scrapling, wie ein Element aussah, und findet es mit adaptive=True nach einem Umbau der Seite wieder. Für Claude Code bringt Scrapling einen MCP-Server mit. Er schneidet Seiten per CSS-Selektor zu und entfernt laut Dokumentation versteckten Text, der den Agenten umlenken soll.

Firecrawl bleibt bei mir für Suche mit strukturierten Datenquellen zuständig. Die drei Werkzeuge überschneiden sich weniger, als die Produktseiten vermuten lassen.

Installation mit einer Zeile oder mit vier Befehlen

Der bequeme Weg steht in der README von Agent Reach. Du fügst Claude Code eine einzige Zeile mit der Adresse der Installationsanleitung ein, der Agent liest sie und arbeitet sie ab. Das funktioniert. Es installiert aber den aktuellen Stand von main, also Code, den vorher niemand als Release markiert hat.

Ich installiere deshalb eine feste Version in eine eigene Python-Umgebung. Vorher habe ich das Paket von v1.5.0 heruntergeladen und den Installer nach sudo, Pipes in die Shell und globalen Installationen durchsucht. Gefunden habe ich nur Hinweistexte, keine automatischen Systemeingriffe.

Install Agent Reach: https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

python3 -m venv ~/.agent-reach-venv
~/.agent-reach-venv/bin/pip install https://github.com/Panniantong/agent-reach/archive/refs/tags/v1.5.0.zip
mkdir -p ~/.local/bin && ln -sf ~/.agent-reach-venv/bin/agent-reach ~/.local/bin/agent-reach

agent-reach install --env=auto --dry-run   # zeigt nur, was passieren würde
agent-reach install --env=auto             # installiert die fehlenden Basis-Werkzeuge
agent-reach doctor                         # Status jedes Kanals

python3 -m venv ~/.scrapling-venv
~/.scrapling-venv/bin/pip install "scrapling[ai]==0.4.15"
~/.scrapling-venv/bin/scrapling install
claude mcp add ScraplingServer ~/.scrapling-venv/bin/scrapling-mcp

Auf meinem Mac wollte der Probelauf nur mcporter installieren und die Exa-Suche einrichten. Danach meldete doctor noch einen Hinweis für YouTube. yt-dlp braucht eine JavaScript-Laufzeit, eine Zeile in seiner Konfigurationsdatei löst das. Auf dem Server lief ein YouTube-Abruf danach in drei Sekunden durch, die Untertiteldatei hatte 14,5 KB.

Zwei Voreinstellungen, die ich nicht übernehme

Erstens schreibt agent-reach doctor ungefragt einen Skill in die Skill-Ordner von Claude Code, OpenClaw und weiteren Agenten. Dessen Beschreibung beansprucht jede Webadresse für sich. In meinem Setup lesen Firecrawl, Scrapling und ein Browser-Werkzeug normale Seiten. Ich habe die Beschreibung deshalb auf YouTube, Feeds, Exa-Suche und öffentliches GitHub eingegrenzt. Ein Update überschreibt diese Eingrenzung, also aktualisiere ich nur von Hand.

Zweitens die Login-Kanäle. Auf meinem Mac lag aus einer früheren Installation OpenCLI. Damit meldet Agent Reach X, Reddit und Xiaohongshu als verfügbar, und zwar über meine eingeloggte Chrome-Sitzung. Das sind meine Hauptkonten. Das Projekt rät selbst zu Testaccounts, weil Plattformen automatisierte Zugriffe erkennen und Konten sperren. Ich sperre diese Kanäle deshalb in der Skill-Beschreibung und in meinen globalen Regeln.

So hängt es in meinem Arbeitsablauf

Ich arbeite mit einer festen Schleife. Das Hauptmodell plant und prüft, ein kleineres Modell setzt einzelne Schritte um. Agent Reach und Scrapling sitzen vor dem Plan. Hängt eine Aufgabe an fremden Quellen, holt das Hauptmodell sie zuerst und legt sie als Datei ab. Erst dann entsteht der Plan, und der ausführende Agent liest nur noch Dateien.

Der Prüfbefehl ist bewusst schlicht: test -s datei. Eine leere Datei bedeutet, dass die Quelle nicht geholt wurde. Ohne diese Prüfung plant ein Modell auf einer leeren Datei und meldet hinterher, es habe nichts gefunden.

Auf beiden Rechnern ist die Version fest auf v1.5.0, Scrapling läuft in v0.4.15 als MCP-Server. Den Zustand prüfe ich mit agent-reach doctor, einmal lokal und einmal per SSH auf dem Server.

Acht Prompts, die ich wirklich nutze

Ab hier redest du normal mit Claude Code. Jeder Prompt nennt die Plattform, das gewünschte Ergebnis und eine Grenze, an der Claude aufhören soll. Ohne Plattform greift das Modell gern zur allgemeinen Websuche und liefert eine Zusammenfassung über den Thread statt den Thread.

Hol das Transkript von [LINK] mit Agent Reach und speichere es als Datei im Scratch-Ordner. Fasse danach zusammen: die These in zwei Sätzen, die fünf konkretesten Aussagen mit Zeitstempel und jede genannte Zahl mit ihrer Quelle. Was nicht im Transkript steht, lässt du weg.

Lies diese Feeds: [URLS]. Zeig mir nur Einträge der letzten 24 Stunden, die eines dieser Stichworte treffen: [STICHWORTE]. Pro Treffer: Titel, ein Satz Relevanz für mein Geschäft, Link. Keine Treffer heißt: schreib „keine Treffer“ und nenne die Zahl der gelesenen Einträge.

Recherchiere [THEMA] mit der Exa-Suche über Agent Reach, mindestens acht Quellen. Trenne Herstellerangaben von unabhängigen Quellen. Gib mir eine Tabelle: Aussage, Quelle, Datum, wie belastbar. Am Ende drei offene Fragen, die die Quellen nicht beantworten.

Analysiere [REPO-URL] mit gh: Was macht das Projekt tatsächlich, welche Abhängigkeiten zieht es, wie oft erscheinen Releases, welche Issues sind am häufigsten offen? Prüf den Installer auf sudo, curl-Pipes und globale npm-Installationen. Schluss: einsetzen, mit Auflagen einsetzen oder lassen.

Die Seite [URL] blockiert normale Abrufe. Hol sie mit dem Scrapling-MCP über stealthy_fetch, nur den Bereich [CSS-SELEKTOR], als Markdown. Wenn eine Anmeldung nötig wäre, brich ab und sag es mir, statt es zu versuchen.

Schreib ein kurzes Python-Skript mit Scrapling: StealthyFetcher holt [URL], liest Produktname und Preis per CSS mit auto_save=True und schreibt eine Zeile mit Datum in preise.csv. Beim nächsten Lauf mit adaptive=True, damit ein Layout-Wechsel das Skript nicht bricht. Kein Login, höchstens ein Abruf pro Stunde.

Briefing zu [THEMA] auf einer Seite. Nutze Exa-Suche, YouTube-Transkripte und öffentliche GitHub-Repos über Agent Reach, für einzelne geschützte Seiten Scrapling. Gliederung: Konsens, Streitpunkte, die drei meistgenannten Werkzeuge, Widersprüche zwischen den Quellen. Jede Aussage mit Quelle und Plattform.

Bevor du planst: Hol alle Quellen für diese Aufgabe mit Agent Reach oder Scrapling und leg sie als Dateien im Scratch-Ordner ab. Prüf jede Datei mit test -s. Leere Datei heißt nicht geholt, nicht „nichts gefunden“. Erst danach schreibst du den Plan, und der executor arbeitet nur mit diesen Dateien.

Was du dir damit ins Haus holst

Agent Reach bündelt fremde Kommandozeilenwerkzeuge und MCP-Server. Du vertraust damit einer ganzen Kette von Projekten. Darum lohnt sich der Blick in den Installer und der Probelauf mit --dry-run vor jeder Änderung am System.

Cookie-Zugriffe auf Plattformen bleiben eine Grauzone der Nutzungsbedingungen. Ein Testaccount ist die Mindestmaßnahme, ein Hauptkonto gehört nie hinein. Die Sternezahl misst Aufmerksamkeit. Wie viele Menschen ein Werkzeug täglich einsetzen, verrät sie nicht. Und TikTok fehlt in der offiziellen Kanaltabelle, auch wenn es in manchen Videos anders klingt.

„Keine API-Gebühren“ heißt kostenlos, nicht dauerhaft. Bilibili hat im Juni 2026 einen Weg geschlossen, X und Reddit ändern ihre Sperren regelmäßig. Für Recherche ist das in Ordnung. Ein Kundenprozess, der jeden Morgen laufen muss, braucht eine offizielle Schnittstelle.

Wie ich Werkzeuge wie diese in einen festen Ablauf mit Prüfung und zweitem Modell einbaue, beschreibt der Beitrag Claude Code und Codex orchestrieren.

Häufige Fragen

Was ist Agent Reach?

Ein Open-Source-Projekt unter MIT-Lizenz. Es wählt pro Plattform ein funktionierendes freies Werkzeug aus, installiert es und prüft mit agent-reach doctor, ob der Kanal noch läuft. Fällt ein Weg aus, schaltet es auf den nächsten um.

Wofür brauche ich Scrapling, wenn ich Agent Reach habe?

Agent Reach arbeitet plattformweise. Scrapling holt einzelne Webseiten, auch hinter Cloudflare Turnstile, und findet Elemente nach einem Layout-Wechsel wieder. Über seinen MCP-Server ruft Claude Code es direkt auf.

Kostet Agent Reach etwas?

Es fallen keine API-Gebühren an. Die Wege funktionieren aber nur, solange die Plattformen sie offen lassen. Für Geschäftsprozesse, die nicht ausfallen dürfen, ist das keine Grundlage.

Sollte ich Login-Kanäle wie Reddit oder Instagram freischalten?

Nur mit einem eigenen Testaccount. Das Projekt rät selbst davon ab, Hauptkonten zu verwenden, weil Plattformen automatisierte Zugriffe erkennen und Konten sperren können.

Funktioniert Agent Reach auch auf einem Server?

Ja. Auf meinem Server liefen nach der Installation sieben von dreizehn Kanälen ohne Login, darunter YouTube-Untertitel, RSS, Exa-Suche und GitHub. Login-Kanäle gehören nicht auf einen Server.

Quellen und Stand

Stand: 7. Oktober 2026. Versionen, Kanäle und Installationsschritte können sich ändern.

1. Agent Reach auf GitHub, README, Installationsanleitung und Release v1.5.0, gelesen am 7. Oktober 2026.
2. Scrapling auf GitHub, README und Release v0.4.15, gelesen am 7. Oktober 2026.
3. Scrapling-Dokumentation: MCP-Server, gelesen am 7. Oktober 2026.
4. Alan Langhammer (@alan.buildz): Anleitung „Claude bekommt Augen fürs ganze Internet“, September 2026. Anstoß für diesen Beitrag, Text und Prompts hier sind eigene Fassungen.

Bildhinweis: Beide Bilder sind KI-generiert, erstellt für diesen Beitrag. Zahlen zu Sternen und Kanälen stammen aus GitHub und aus agent-reach doctor auf meinem Mac und meinem Server am 7. Oktober 2026.

Claude Code builds you a feature in ten minutes. It cannot fetch a YouTube transcript on its own.

Two open-source projects close that gap. Agent Reach gives an AI agent read access to YouTube, RSS feeds, GitHub and a semantic web search. Scrapling fetches single web pages that block normal requests. The prompt came from Alan Langhammer's guide (@alan.buildz). I set up both tools on my Mac and on my server on 7 October 2026, wired them into my workflow and found two defaults I do not keep.

What Agent Reach does

Agent Reach is not a scraper of its own. For each platform it picks the free tool that currently works, installs it and checks regularly whether the route is still open. For YouTube that is yt-dlp, for feeds feedparser, for web search Exa via mcporter, for GitHub the official gh CLI. If a route fails, Agent Reach takes the next one from a fixed chain.

One command shows the state of every channel: agent-reach doctor. It lists each channel, the active route and any missing logins. Whatever goes wrong, run it first.

Where Scrapling comes in

Agent Reach thinks in platforms. That is not enough for a single page that turns bots away. Scrapling by Karim Shoair (D4Vinci) fills this gap. According to the project, its StealthyFetcher gets past Cloudflare Turnstile. With auto_save=True Scrapling remembers what an element looked like and finds it again with adaptive=True after the page has been rebuilt. For Claude Code it ships an MCP server. The server trims pages with a CSS selector and, according to the documentation, strips hidden text meant to hijack the agent.

In my setup Firecrawl stays in charge of search with structured data providers. The three tools overlap less than their product pages suggest.

Installation with one line or with four commands

The convenient route is in the Agent Reach README. You paste a single line with the address of the install guide into Claude Code, and the agent reads and follows it. That works. It also installs the current state of main, which is code nobody has tagged as a release.

So I install a pinned version into its own Python environment. Before that I downloaded the v1.5.0 package and searched the installer for sudo, pipes into the shell and global installs. I only found hint texts, no automatic changes to the system.

Install Agent Reach: https://raw.githubusercontent.com/Panniantong/agent-reach/main/docs/install.md

python3 -m venv ~/.agent-reach-venv
~/.agent-reach-venv/bin/pip install https://github.com/Panniantong/agent-reach/archive/refs/tags/v1.5.0.zip
mkdir -p ~/.local/bin && ln -sf ~/.agent-reach-venv/bin/agent-reach ~/.local/bin/agent-reach

agent-reach install --env=auto --dry-run   # only shows what would happen
agent-reach install --env=auto             # installs the missing base tools
agent-reach doctor                         # status of every channel

python3 -m venv ~/.scrapling-venv
~/.scrapling-venv/bin/pip install "scrapling[ai]==0.4.15"
~/.scrapling-venv/bin/scrapling install
claude mcp add ScraplingServer ~/.scrapling-venv/bin/scrapling-mcp

On my Mac the dry run only wanted to install mcporter and set up Exa search. Afterwards doctor still flagged YouTube. yt-dlp needs a JavaScript runtime, and one line in its config file fixes that. On the server a YouTube fetch then finished in three seconds, and the subtitle file came to 14.5 KB.

Two defaults I do not keep

First, agent-reach doctor writes a skill into the skill folders of Claude Code, OpenClaw and other agents without asking. Its description claims every web address. In my setup Firecrawl, Scrapling and a browser tool read normal pages. I narrowed the description to YouTube, feeds, Exa search and public GitHub. An update overwrites that change, so I only update by hand.

Second, the login channels. My Mac still had OpenCLI from an earlier installation. With it, Agent Reach reports X, Reddit and Xiaohongshu as available, through my logged-in Chrome session. Those are my main accounts. The project itself recommends test accounts because platforms detect automated access and suspend accounts. So I block these channels in the skill description and in my global rules.

How it fits into my workflow

I work with a fixed loop. The main model plans and reviews, a smaller model carries out single steps. Agent Reach and Scrapling sit in front of the plan. If a task depends on outside sources, the main model fetches them first and stores them as files. Only then is the plan written, and the executing agent reads files and nothing else.

The check command is deliberately plain: test -s file. An empty file means the source was not fetched. Without that check a model plans on an empty file and later reports that it found nothing.

Both machines are pinned to v1.5.0, and Scrapling runs as an MCP server in v0.4.15. I check the state with agent-reach doctor, once locally and once on the server via SSH.

Eight prompts I actually use

From here on you talk to Claude Code normally. Each prompt names the platform, the result you want and a limit where Claude should stop. Without a platform the model tends to reach for general web search and hands you a summary of the thread instead of the thread.

Fetch the transcript of [LINK] with Agent Reach and save it as a file in the scratch folder. Then summarise: the thesis in two sentences, the five most concrete claims with timestamps and every number mentioned with its source. Leave out anything that is not in the transcript.

Read these feeds: [URLS]. Show me only entries from the last 24 hours that match one of these keywords: [KEYWORDS]. Per hit: title, one sentence on why it matters for my business, link. No hits means: write “no hits” and state how many entries you read.

Research [TOPIC] with Exa search via Agent Reach, at least eight sources. Separate vendor claims from independent sources. Give me a table: claim, source, date, how solid. End with three open questions the sources do not answer.

Analyse [REPO URL] with gh: what does the project actually do, which dependencies does it pull in, how often do releases appear, which issues are most often open? Check the installer for sudo, curl pipes and global npm installs. Conclusion: adopt, adopt with conditions or skip.

The page [URL] blocks normal requests. Fetch it with the Scrapling MCP via stealthy_fetch, only the area [CSS SELECTOR], as Markdown. If a login would be needed, stop and tell me instead of trying.

Write a short Python script with Scrapling: StealthyFetcher fetches [URL], reads product name and price via CSS with auto_save=True and appends a dated line to prices.csv. On the next run use adaptive=True so a layout change does not break the script. No login, one request per hour at most.

One-page briefing on [TOPIC]. Use Exa search, YouTube transcripts and public GitHub repos via Agent Reach, Scrapling for single protected pages. Structure: consensus, points of dispute, the three most mentioned tools, contradictions between sources. Every claim with source and platform.

Before you plan: fetch every source for this task with Agent Reach or Scrapling and store them as files in the scratch folder. Check each file with test -s. An empty file means not fetched, not “nothing found”. Only then write the plan, and the executor works with these files only.

What you are bringing in

Agent Reach bundles third-party command-line tools and MCP servers. You trust a whole chain of projects. That is why the look at the installer and the --dry-run before any change to the system are worth the time.

Cookie access to platforms stays a grey area under their terms of service. A test account is the minimum, a main account never belongs there. The star count measures attention. It does not tell you how many people use a tool every day. And TikTok is missing from the official channel table, even if some videos make it sound otherwise.

“No API fees” means free, not permanent. Bilibili closed a route in June 2026, and X and Reddit change their blocks regularly. For research that is fine. A customer process that has to run every morning needs an official API.

How I build tools like these into a fixed flow with checks and a second model is covered in orchestrating Claude Code and Codex.

Frequently asked questions

What is Agent Reach?

An open-source project under the MIT licence. For each platform it picks a working free tool, installs it and uses agent-reach doctor to check whether the channel still runs. If a route fails, it switches to the next one.

Why do I need Scrapling if I have Agent Reach?

Agent Reach works per platform. Scrapling fetches single web pages, including ones behind Cloudflare Turnstile, and finds elements again after a layout change. Claude Code calls it directly through its MCP server.

Does Agent Reach cost anything?

There are no API fees. The routes only work as long as the platforms leave them open, though. That is no basis for business processes that must not fail.

Should I unlock login channels such as Reddit or Instagram?

Only with a dedicated test account. The project itself advises against main accounts because platforms detect automated access and can suspend accounts.

Does Agent Reach work on a server?

Yes. On my server seven of thirteen channels ran without login after installation, among them YouTube subtitles, RSS, Exa search and GitHub. Login channels do not belong on a server.

Sources and status

As of 7 October 2026. Versions, channels and installation steps can change.

1. Agent Reach on GitHub, README, install guide and release v1.5.0, read on 7 October 2026.
2. Scrapling on GitHub, README and release v0.4.15, read on 7 October 2026.
3. Scrapling documentation: MCP server, read on 7 October 2026.
4. Alan Langhammer (@alan.buildz): guide on giving Claude eyes for the whole internet, September 2026. The starting point for this article; text and prompts here are my own.

Image note: both images are AI-generated for this article. Star and channel figures come from GitHub and from agent-reach doctor on my Mac and my server on 7 October 2026.