Website korrekt sind und ob Roboter von normalen abschirmung und offene adressen.Bitte geben sie websites MIT http und / ende der Domain - namen nicht.
User-agent: Die Art der Definition der suchmaschineDisallow: Definition der suchmaschinen Adresse verbotenAllow: Die Adresse der Definition, damit suchmaschinenSitemap: http://xxxx.xx/sitemap.xml