robots.txt class

Give this class the contents of a robots.txt file or the URL to it and it will parse it for you. As an option you can give it the name or your robot/spider/crawler and it will return only the section that applies to your case. Works through proxies with the help of Snoopy (see script for more details).

Rezensionen

Es sind noch keine Kommentare vorhanden.

Hier Kannst Du einen Kommentar verfassen


Bitte gib mindestens 10 Zeichen ein.
Wird geladen... Bitte warte.
* Pflichtangabe
ANG GES G P
phpdl-server.health.class.php bietet Euch und Eurem Server die Möglichkeit, Serverdienste (apache,mysql u.s.w.) restarten zu lassen. Ihr konfig ...
ANG GES G P
Class to enable search/replace of files. Can perform the search over one file, multiple files, entire directories with/without subdirectories. Ca ...
ANG GES G P
In diesem RegEx-Bereich wird eine kurze Einführung in das Thema Reguläre Ausdrücke gegeben. Danach werden einige gebrauchsfertige Reguläre A ...
ANG GES G P
Mit dieser Klasse,können Sie ganz leicht ein komplettes Verzeichnis mit Bildern verkleinern oder vergrößern lassen.Die neuen Größen müssen a ...
ANG GES G P
Cached Fast Template is a template system for PHP that implements caching for PHP's FastTemplate module. Features include: Supports lock files, so ...
ANG GES G P
This class is a expansion to the original PHP string funcions. All functions was make to use special characters (192-223 and 224-255 in ascii ...
ANG GES G P
Conversion of php sessions class to use Oracle instead of MySQL
ANG GES G P
Eine einfacheTemplate class in PHP 5 , mit Unterstützung für Platzhalter und Sections.
408 x angesehen
0 x gemerkt
Details zur Anzeige
ANG GES G P
Anfrage stellen

Du bist nicht als Benutzer angemeldet. Bitte gebe Deinen Namen und E-Mailadresse an!

Wird geladen... Bitte warte.
Details zur Anbieter

toon.goedhart@