# ═══════════════════════════════════════════════════════════════ # robots.txt – Wismet Filtershop (www.wismet.de) # Hinweis: robots.txt ist KEINE Zugriffssicherung (RFC 9309), sondern eine # Zugriffsvorgabe. Verbindliche Regeln: https://www.wismet.de/nutzungsbedingungen # Optimiert 2026-04-03 – Crawl-Budget-Schutz & Duplicate-Prevention # ═══════════════════════════════════════════════════════════════ User-agent: Googlebot Allow: / Allow: /artikel/ Allow: /search Allow: /cross Allow: /umschluesselung Allow: /katalog Allow: /hersteller Allow: /john-deere-filter Allow: /fendt-filter Allow: /claas-filter Allow: /deutz-filter Allow: /case-filter Allow: /new-holland-filter Allow: /massey-ferguson-filter Allow: /kubota-filter Allow: /valtra-filter Allow: /steyr-filter Allow: /same-filter Allow: /mccormick-filter Allow: /landini-filter Allow: /zetor-filter Allow: /caterpillar-filter Allow: /komatsu-filter Allow: /liebherr-filter Allow: /jcb-filter Allow: /volvo-ce-filter Allow: /hitachi-filter Allow: /manitou-filter Allow: /oelfinder Allow: /marken Allow: /ratgeber Allow: /ueber-uns Allow: /zubehoer Allow: /filter/oelfilter Allow: /filter/luftfilter Allow: /filter/hydraulikfilter Allow: /filter/kraftstofffilter Allow: /filter/kabinenfilter Allow: /fahrzeug/ Allow: /oele Allow: /zubehoer-uebersicht Allow: /dimension-search Allow: /lexikon Allow: /oel-freigaben Allow: /filter Allow: /oe-qualitaet Allow: /zahlung-versand Allow: /donaldsonfilters Allow: /mannfilter Allow: /hengstfilter Allow: /argo-hytos Allow: /hifi-filter Allow: /fil-filter Allow: /filtrec Allow: /sf-filter Allow: /rt-filter Allow: /ufi-filters Allow: /bgs-technic Allow: /sonax Allow: /granit-parts Allow: /gernex Allow: /eni Allow: /caipan Allow: /oele Allow: /oel-freigaben Allow: /zubehoer-uebersicht Allow: /impressum Allow: /datenschutz Allow: /agb Allow: /widerruf Allow: /barrierefreiheit Allow: /rueckgabebedingungen Allow: /nutzungsbedingungen # ── Legacy-Pfade: CRAWLEN ERLAUBT (damit Client-Redirects greifen) ── # Diese Pfade führen via LegacyFilterRedirect.tsx zu /search?q=... # Sie MÜSSEN crawlbar sein, damit Google den Redirect ausführen und die alten # URLs sauber durch die neuen ersetzen kann. Wenn wir sie blockieren, behält # Google die alten URLs im Index ohne Inhalt ("Für diese Seite sind keine # Informationen verfügbar.") — das wollen wir verhindern. Disallow: /startseite Disallow: /oel/ Allow: /kataloge/ Disallow: /kontakt/ # ── Interne / geschützte Bereiche ── Disallow: /admin/ Disallow: /settings Disallow: /auth Disallow: /account Disallow: /logo-preview Disallow: /besuch-hierl Disallow: /trigger-update Disallow: /order-confirmation Disallow: /danke Disallow: /reset-password Disallow: /sprach-toggle Disallow: /community Disallow: /sammelsuche Disallow: /bhkw-filter Disallow: /cart Disallow: /favorites Disallow: /rs1 Disallow: /rs2 Allow: /dasbeste Allow: /dasbeste/artikel/ # ── Statische HTML-Dateien (kein SEO-Wert) ── Disallow: /showmyip.html Disallow: /coming-soon.html Disallow: /wismet-banner.html Disallow: /google-ads-briefing.html Disallow: /newsletter-april-2026.html # ── Query-Parameter blockieren (verhindert Duplikate) ── Disallow: /*?csl= Disallow: /*?rdc_id= Disallow: /*&rdc_id= # Hinweis: Googlebot ignoriert Crawl-delay. Crawl-Rate ggf. in der # Google Search Console steuern (Einstellungen → Crawling-Rate). Crawl-delay: 1 User-agent: Bingbot Allow: / Allow: /artikel/ Allow: /search Allow: /cross Allow: /umschluesselung Allow: /katalog Allow: /fahrzeug/ Allow: /oelfinder Allow: /marken Allow: /ratgeber Allow: /ueber-uns Allow: /filter/oelfilter Allow: /filter/luftfilter Allow: /filter/hydraulikfilter Allow: /filter/kraftstofffilter Allow: /filter/kabinenfilter Allow: /oele Allow: /zubehoer Allow: /dimension-search Allow: /oe-qualitaet Disallow: /startseite Disallow: /oel/ Allow: /kataloge/ Disallow: /kontakt/ Disallow: /admin/ Disallow: /settings Disallow: /auth Disallow: /account Disallow: /logo-preview Disallow: /besuch-hierl Disallow: /trigger-update Disallow: /order-confirmation Disallow: /danke Disallow: /reset-password Disallow: /cart Disallow: /favorites Disallow: /rs1 Disallow: /rs2 Allow: /dasbeste Disallow: /*?csl= Disallow: /*?rdc_id= Crawl-delay: 5 # ── AI / LLM Crawler ── # Zweiteilung: # 1) TRAINING-Crawler (saugen Inhalte für Modell-Training) → BLOCKIEREN # 2) LIVE-Abruf-Bots (fetchen erst, wenn ein Nutzer aktiv fragt) → ERLAUBEN # Damit können Nutzer in ChatGPT/Claude/Perplexity Live-Antworten zu Wismet # bekommen (Preise, Verfügbarkeit, Artikelinfos), unsere Inhalte werden aber # nicht in Trainingsdatensätze übernommen. # --- 1) Training/Bulk-Scraping: WEITER BLOCKIERT --- User-agent: GPTBot Disallow: / User-agent: CCBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: Applebot-Extended Disallow: / User-agent: Meta-ExternalAgent Disallow: / User-agent: cohere-ai Disallow: / User-agent: Diffbot Disallow: / User-agent: FacebookBot Disallow: / # --- 1b) Ergänzt 2026-08-19: weitere Training-/Bulk-/Scraping-Crawler --- # Nutzungsbedingungen: https://www.wismet.de/nutzungsbedingungen # (Googlebot/Bingbot und Live-Abruf-Bots bleiben unverändert erlaubt.) # KI-Training / Datensammlung User-agent: Amazonbot Disallow: / User-agent: Bytedance Disallow: / User-agent: AI2Bot Disallow: / User-agent: Ai2Bot-Dolma Disallow: / User-agent: omgili Disallow: / User-agent: omgilibot Disallow: / User-agent: Webzio-Extended Disallow: / User-agent: ImagesiftBot Disallow: / User-agent: Timpibot Disallow: / User-agent: img2dataset Disallow: / User-agent: Kangaroo Bot Disallow: / User-agent: PanguBot Disallow: / User-agent: Scrapy Disallow: / User-agent: TurnitinBot Disallow: / User-agent: Meta-ExternalFetcher Disallow: / User-agent: meta-externalagent Disallow: / # SEO-/Backlink-Crawler (reine Wettbewerbsanalyse, hohe Crawl-Last) User-agent: AhrefsBot Disallow: / # SemrushBot NICHT gesperrt – wird für unsere eigenen Site-Audits benötigt. User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: BLEXBot Disallow: / User-agent: DataForSeoBot Disallow: / User-agent: SeekportBot Disallow: / User-agent: magpie-crawler Disallow: / User-agent: Barkrowler Disallow: / User-agent: SerpstatBot Disallow: / # Reflectionbot (reflection.ai): reiner Trainings-Datensammler ohne # Nutzer-Suche — überlastete die Fahrzeugsuche, daher blockiert. User-agent: Reflectionbot Disallow: / # --- 2) Live-Abruf (on-demand für User-Prompts): ERLAUBT --- # Wichtig für MCP + „ChatGPT holt aktuellen Preis" u. ä. User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: anthropic-ai Allow: / User-agent: Claude-Web Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-User Allow: / # ── Chinesische Crawler/Scraper blockieren (95% des Bot-Traffics) ── User-agent: Bytespider Disallow: / User-agent: Baiduspider Disallow: / User-agent: YisouSpider Disallow: / User-agent: Sogou Disallow: / User-agent: 360Spider Disallow: / User-agent: HaoSouSpider Disallow: / User-agent: PetalBot Disallow: / User-agent: FacebookBot Disallow: / User-agent: * Allow: / Disallow: /startseite Disallow: /oel/ Allow: /kataloge/ Disallow: /kontakt/ Disallow: /admin/ Disallow: /settings Disallow: /auth Disallow: /account Disallow: /logo-preview Disallow: /besuch-hierl Disallow: /trigger-update Disallow: /order-confirmation Disallow: /danke Disallow: /reset-password Disallow: /cart Disallow: /favorites Disallow: /rs1 Disallow: /rs2 Allow: /dasbeste Disallow: /*?csl= Disallow: /*?rdc_id= # Alle übrigen Bots (Idealo, Yandex, Ahrefs, Semrush, DuckDuckBot ...): # 10 Sek Pause zwischen Requests, schont Server bei Crawl-Spitzen. Crawl-delay: 10 # ── Sitemaps (alle unter wismet.de — Search Console akzeptiert nur verifizierte Domain) ── # >>> live-sub-sitemaps (auto, generate-sitemaps.mjs) # <<< live-sub-sitemaps Sitemap: https://www.wismet.de/sitemap.xml Sitemap: https://www.wismet.de/sitemap-pages.xml Sitemap: https://www.wismet.de/sitemap-modelle.xml Sitemap: https://www.wismet.de/sitemap-marken.xml Sitemap: https://www.wismet.de/sitemap-articles.xml Sitemap: https://www.wismet.de/sitemap-vehicles.xml Sitemap: https://www.wismet.de/sitemap-cross.xml Sitemap: https://www.wismet.de/sitemap-umschluesselung.xml Sitemap: https://www.wismet.de/sitemap-brands.xml Sitemap: https://www.wismet.de/sitemap-dasbeste-1.xml Sitemap: https://www.wismet.de/sitemap-dasbeste-kategorien.xml