Navigationsmonitoring: Menülinks jede Woche automatisch prüfen

Die Hauptnavigation steht auf jeder Seite deiner Website. Ein fehlerhafter Menülink wiederholt sich deshalb auf allen Seiten. Für unsere Kunden prüfen wir die Navigation jeden Montag automatisch. Hier erfährst du, wie der Monitor aufgebaut ist und was er bei den ersten Läufen gefunden hat.

Warum Fehler in der Navigation mehr Gewicht haben

Menülinks sind die internen Links mit der größten Verbreitung. Sie stehen im Template und damit auf jeder Seite der Domain. Besucher gelangen über sie in die Kategorien, und Crawler wie der Googlebot finden über sie die Seiten, die du für die wichtigsten hältst.

Gepflegt wird deine Navigation meist im Tagesgeschäft, ohne Release und ohne SEO-Abnahme. Eine Kategorie wird umbenannt, eine Kampagnenseite läuft aus, jemand trägt im CMS eine interne System-URL statt der sprechenden Adresse ein. Ein monatlicher Crawl findet solche Fehler unter Umständen erst Wochen später. Bis dahin zeigt jede Seite deiner Domain auf das falsche Ziel.

Der Monitor erkennt vier Arten von Fehlern:

Befund	Folge
Weiterleitung (3xx)	Jeder Klick und jeder Crawler-Abruf braucht eine zusätzliche Anfrage, bevor die Zielseite lädt. Interne Links sollten direkt auf die finale URL zeigen.
Fehlerseite (4xx, 5xx)	Deine Besucher landen aus dem Menü auf einer Fehlerseite, und zwar von jeder Seite deiner Domain aus.
noindex	Die Seite ist prominent verlinkt, soll laut Meta-Robots oder X-Robots-Tag aber nicht in den Index. Entweder ist der Link falsch oder die Anweisung.
robots.txt-Sperre	Suchmaschinen dürfen die verlinkte URL nicht crawlen. Meist zeigt der Menüpunkt auf eine technische Adresse statt auf die öffentliche Kategorie-URL.

So läuft eine Prüfung ab

Der Monitor ist ein Workflow in der Automatisierungsplattform n8n. Jede überwachte Domain hat einen eigenen Workflow, der jeden Montag um 3:00 Uhr startet und sechs Schritte durchläuft.

Links direkt aus dem HTML lesen

Der Workflow lädt die Startseite und schneidet den Navigationsblock heraus, je nach System etwa <nav class="cs-navigation"> in einem Magento-Shop oder <nav id="mainNav"> in TYPO3. Daraus entsteht eine Liste aller Ziel-URLs mit ihrem Menütext. Findet der Workflow den Block nicht, bricht er mit einer Fehlermeldung ab. Das ist Absicht: Ein geändertes Template soll auffallen und nicht als Prüfung ohne Befund durchlaufen.

Weiterleitungen nicht folgen

Jede URL wird mit abgeschaltetem Redirect-Folgen abgerufen. Nur so sieht der Monitor den Statuscode 301 und das Ziel im Location-Header. Ein normaler Abruf würde die Weiterleitung auflösen und am Ende 200 melden.

robots.txt selbst auswerten

Der Workflow liest die aktuelle robots.txt bei jedem Lauf neu und wertet die Regeln für alle Bots und für den Googlebot aus, einschließlich der Platzhalter * und $. Treffen mehrere Regeln zu, gilt wie bei Google die längste passende Regel, bei gleicher Länge die Allow-Regel.

Rücksicht auf den Server

Die Abrufe laufen in kleinen Paketen mit Pausen dazwischen. Der Monitor meldet sich mit einem eigenen User-Agent, der auf accscale.de verweist, damit du und dein Hoster die Anfragen zuordnen könnt.

Nur die ersten 16 KB jeder Seite laden

Für die Prüfung auf noindex reicht der <head> einer Seite. Bei Shops mit großen HTML-Dokumenten fordert der Monitor deshalb per Range-Header nur die ersten 16 KB an (Range: bytes=0-16383). Bei Shops mit großen Seiten sinkt die Datenmenge je Lauf damit auf einen Bruchteil.

Nicht jeder Server hält sich exakt an den Range-Header. Ein Shop hinter Cloudflare lieferte trotz Anfrage deutlich mehr als die angeforderten 16 KB. Dort läuft der Abruf zusätzlich in Paketen über einen Sub-Workflow, weil n8n die Ausgabe jedes Schritts für die gesamte Ausführung im Arbeitsspeicher hält. Endet eine Teilantwort vor </head>, meldet der Monitor „noindex nicht prüfbar“, statt den Link als unauffällig zu werten.

Die Meldung

Ist alles in Ordnung, kommt keine Mail. Bei mindestens einem Befund geht eine Tabelle an das SEO-Team: Menüpunkt, URL, Statuscode und Befund, bei Weiterleitungen mit dem Ziel, bei robots.txt-Sperren mit der greifenden Regel. Damit lässt sich jeder Fall ohne weitere Recherche an die Verantwortlichen beim Kunden weitergeben.

Ergebnisse der ersten Läufe

Der Monitor läuft für unsere Kunden. Beim ersten Lauf hatte jede Navigation mindestens einen auffälligen Link. Je nach Domain prüft der Monitor einige Dutzend bis mehrere Hundert Menülinks, ein Lauf dauert auch bei großen Navigationen unter einer Minute.

• Menüpunkte, die per 301 auf eine umbenannte oder übergeordnete Seite weiterleiten.

• Menüpunkte in Shops, die auf eine interne Kategorie-URL der Shopsoftware zeigen, die die eigene robots.txt sperrt.

• Teaser-Links im Ausklappmenü, die auf Suchergebnisseiten und einen Blogartikel mit noindex führen.

• Externe Ziele im Menü, etwa Seiten von Schwesterunternehmen, die inzwischen weiterleiten.

Jeder dieser Links stand auf allen Seiten der jeweiligen Domain. Behoben wird ein solcher Fall in der Regel mit einer einzigen Änderung im CMS.

Grenzen des Ansatzes

• JavaScript-Navigation: Lädt eine Seite ihr Menü erst im Browser nach, findet ein einfacher HTTP-Abruf keine Links. Dafür braucht es einen Headless-Browser.

• Nur die Hauptnavigation: Footer, Breadcrumbs und Links im Inhalt prüft der Monitor nicht. Diese deckt unser monatlicher technischer Check mit einem vollständigen Crawl ab.

• Bot-Schutz: Manche Firewalls lassen den Monitor nur mit einem freigegebenen User-Agent durch. Das stimmen wir vorher mit dir ab.

• Keine Bewertung: Der Monitor meldet nur. Ob eine Weiterleitung gewollt ist, beurteilt ein Mensch.