Um bestimmte Seiten von der Indizierung auszuschließen (also für Suchmaschinen zu "sperren"), gibt es den sogenannten Robots Exclusion Standard.
Kurz gesagt ist alles was Sie machen müssen, eine Datei namens "robots.txt" zu erstellen, darin die von Ihnen nicht gewünschten zu indizierenden Seiten vermerken und diese "robots.txt"-Datei in den Hauptordner Ihrer Website auf den Server hochzuladen.
Beispielsweise könnte eine "robots.txt"-Datei so aussehen:
# Diese Verzeichnisse/Dateien sollen nicht durchsucht werden
User-agent: *
Disallow: /default.html
Disallow: /Temp/# diese Inhalte verschwinden bald
Disallow: /Privat/Familie/Geburtstage.html
Dadurch sperren Sie eine Datei "default.html" sowie alle Dateien im Ordner "Temp" sowie die Datei "Geburtstage.html" im Unterordner "Privat/Familie" von der Indizierung durch Suchmaschinen. D.h., wenn Benutzer später nach Begriffen bei Google suchen, so werden niemals die ausgeschlossenen Seiten in der Suchergebnisliste angezeigt.
Detailliertes Vorgehen mit Zeta Producer
Sie können die "robots.txt"-Datei manuell außerhalb von Zeta Producer erstellen, oder aber integriert in Zeta Producer. Dies hat den Vorteil, dass Änderungen stets automatisch online sind.
Um eine "robots.txt"-Datei zu erstellen und in Zeta Producer einzubinden gehen Sie wie folgt vor:
Nun wird die Datei bei jedem Veröffentlichen Ihres Webprojekts automatisch mit veröffentlicht, sofern diese geändert wurde.
Um die Datei zu einem späteren Zeitpunkt zu bearbeiten, gehen Sie wie folgt vor:
Es wird der Texteditor gestartet und die Datei geöffnet. Sie können diese nun editieren.