Abrufe und Kennung

Der Verarbeiter von GemeinsamKI Suche ruft nur Websites ab, deren Besitzer sie hier angemeldet und bestätigt haben. Er liest robots.txt, Sitemaps und Seiten, um sie in den Index aufzunehmen, und prüft Besitz-Nachweise (Datei, Startseite, DNS-Eintrag).

Kennung (User-Agent)

Mozilla/5.0 (compatible; GemeinsamKI-Suche/0.5.0; +https://search.gemeinsamki.de/bot)

In der robots.txt lässt sich der Verarbeiter gezielt ansprechen mit User-agent: GemeinsamKI-Suche; sonst gelten die Regeln für *.

Regeln

• robots.txt gilt immer (RFC 9309): Disallow/Allow mit * und $, die längste Regel gewinnt. Antwortet robots.txt mit einem Serverfehler, ruft der Verarbeiter vorerst nichts ab. Crawl-delay wird beachtet (bis 30 Sekunden).
• noindex und nofollow gelten per Meta-Tag (robots oder gemeinsamki-suche) und per X-Robots-Tag. rel="canonical" und rel="nofollow" an Links werden beachtet.
• Je Host höchstens ein Abruf zur Zeit, mindestens zwei Sekunden Abstand; bei 429 oder 503 eine Minute Pause. Neuabruf nach sieben Tagen, bedingt mit If-None-Match/If-Modified-Since.
• Nur Port 80 und 443, nur öffentliche Adressen; Weiterleitungen höchstens drei und nur innerhalb der Website. Je Seite höchstens 2 MB, keine Bilder, PDFs oder Medien.
• Gespeichert werden Titel, Beschreibung, Überschriften, der Haupttext (ohne Navigation, Kopf, Fuß, Formulare und Cookie-Hinweise) und eine Zusammenfassung – für die Suche. Entfernt der Besitzer die Property, fällt alles aus dem Index.

Fragen oder Probleme mit Abrufen: hallo@gemeinsamki.de