robots.txt

Einklappen
X
 
  • Filter
  • Zeit
  • Anzeigen
Alles löschen
neue Beiträge

  • robots.txt


    Noch ne Frage:
    Auf meinen Log daten erscheint immer das bestimmte seiten nicht gefunden wurden und da erscheint eben nur eine nämlich robots.txt . Was hat es denn mit dieser datei auf sich? sollte man diese haben?
    Sorry wenn die Frage blöd sein sollte aber ich mach das auch noch nicht so lange und muß mich noch etwas reinarbeiten

    Danke

    Heiko
    Feuerwehr ist nicht alles, aber ohne Feuerwehr ist alles nichts !!!

  • #2
    die Datei robots.txt ist nur für Suchmaschinen gedacht.

    In ihr steht, welcher Suchrobot welches Verzeichnis aufnehmen darf, oder nicht und welche verzeichnisse auf gar keinen Fall indiziert werden sollen.

    gruss

    Kommentar


    • #3
      sieht z.b. so aus:

      Code:
      ##### ANFANG
      User-agent: *
      Disallow: /cgi-bin
      Disallow: /intern
      
      ##### ENDE
      h.a.n.d.
      Schmalle

      http://impressed.by
      http://blog.schmalenberger.it



      Wichtige Anmerkung: Ich habe keine Probleme mit Alkohol ...
      ... nur ohne :-)

      Kommentar


      • #4
        Des wäre denn was die Suchmaschienen ned durchsuchen dürfen ?? Sehe ich das richtig ?
        Code:
        ##### ANFANG
        User-agent: *
        Disallow: /cgi-bin
        Disallow: /intern
        
        ##### ENDE
        Gruß Frosty
        My New Projekt: P²Board
        Designer im Team gesucht !

        Kommentar


        • #5
          wer noch mehr wissen will:
          http://www.robotstxt.org/wc/exclusion.html#robotstxt
          http://www.robotstxt.org/

          Kommentar


          • #6
            disallow - verbieten
            allow - erlauben/ gestatten

            Kommentar


            • #7
              aha und das intern bzw. cgi-bin sind in diesem beispiel dann Ordner ?
              Richtig?
              Feuerwehr ist nicht alles, aber ohne Feuerwehr ist alles nichts !!!

              Kommentar


              • #8
                jepp

                gruss

                Kommentar


                • #9
                  dankeschön hat mir sehr gehelft ;-))
                  Feuerwehr ist nicht alles, aber ohne Feuerwehr ist alles nichts !!!

                  Kommentar

                  Lädt...
                  X