Crawling – Was ist das?
Crawling ist der Prozess, bei dem Suchmaschinen-Bots (wie der Googlebot) das Internet durchsuchen und Webseiten entdecken. Der Crawler folgt Links von Seite zu Seite und sammelt Informationen für den Suchindex.
Crawling im Detail
Bevor Google eine Seite anzeigen kann, muss sie gecrawlt und indexiert werden. Crawling ist der erste Schritt: Der Bot besucht die Seite und liest den Inhalt.
Wie Crawling funktioniert
- Crawler startet mit bekannten Seiten und Sitemaps
- Folgt Links zu neuen Seiten
- Liest HTML-Code und Inhalte
- Speichert Informationen für spätere Indexierung
- Besucht Seiten regelmäßig für Updates
Crawlability optimieren
- robots.txt: Anweisungen für Crawler
- XML-Sitemap: Alle wichtigen URLs uebersichtlich
- Interne Verlinkung: Alle Seiten erreichbar
- Ladezeit: Schnelle Seiten werden oefter gecrawlt
- Keine Sackgassen: Orphan Pages vermeiden
Crawl-Budget
Google hat ein begrenztes "Budget" für jede Website. Bei grossen Websites wichtig: Unwichtige Seiten ausschliessen, damit wichtige Seiten oefter gecrawlt werden.
Praxisbeispiel
Eine Website hat 500 Seiten, aber 300 davon sind Duplikate oder unwichtige Filter-Seiten. Google verschwendet Crawl-Budget auf diese Seiten, während wichtige Produktseiten selten gecrawlt werden. Nach Bereinigung (noindex für Filter, Canonical-Tags für Duplikate) werden die wichtigen Seiten oefter gecrawlt und ranken besser.
Crawling bei TwoPixels
Wir optimieren die Crawlability Ihrer Website als Teil unserer SEO-Leistungen. Saubere Struktur, korrekte robots.txt, optimierte Sitemap – damit Google Ihre wichtigen Seiten findet und indexiert.