Tag suchen

Tag:

Tag ki-bot

„KI“-Crawler halten sich an keine Regeln 17.10.2025 18:21:01

plattform suchmaschinen technik anubis ki-bot software tool
Heise verweist auf die schwindende Funktion der robots.txt-Datei. Darauf verweist ein Mastodon-Eintrag der Bielefelder Spezialsuchmaschine BASE, der so weitergeht: Um die von uns an der Universität Bielefeld betriebene akademische Suchmaschine https://www.base-search.net weiter erreichbar zu halten, mussten wir deshalb alle Browser aussperren, die ... mehr auf log.netbib.de