Links und Text aus Website auslesen

[Jayjay]

Hi,

ich will mal ein bisschen mit nem Webcrawler experimentieren,
dieser soll Links von externen Websites auslesen können und auch den Text davon in einer Datenbank speichern.
Ich bräuchte also eine Funktion für den Text und für Links.

gru?

Jayjay

[Schnoop]

Dann fang mal an.

Stichwort: RegExp

Wenn du ein konkretes Problem bei der Implementierung hast kannst du gerne nochmal fragen.

[jahlives]

Ich bräuchte also eine Funktion für den Text und für Links.

Reguläre Ausdrücke sind genau dazu da. Für mehr Infos gibt's das Manual. Und bei einer konkreten Frage darfst du gerne wiederkommen

[Schnoop]

OffTopic:

---

High 5

---

[Jayjay]

Ok erst mal danke,

also mit RegExp?

[Schnoop]

Nee, mit Sauerkraut.

Wenn 2 Leute RegExp schreiben, meinen sie das auch so

[jahlives]

also mit RegExp?

Ja. Denn alles andere würde ein ziemliches Gefummel werden

[Jayjay]

Ok erst mal danke,
da hab ich jetzt schon gute Seiten gefunden,
aber soweit ich das überblicken konnte kann amn damit z.b. einen Text durchsuchen, ich will ja aber den ganzen text speichern.

[jahlives]

Nee, mit Sauerkraut.

OffTopic:

---

Gerade im Manual gesehen, dass es sauerkraut(float menge, int dauer, double gasmenge)- Funktion in PHP 6 geben wird

---

[Schnoop]

http://de2.php.net/manual/de/functio...-match-all.php <- Parameter "matches" wäre für dich interessant.

Hier mal zum ausprobieren: http://regexp-evaluator.de/evaluator/

[jahlives]

aber soweit ich das überblicken konnte kann amn damit z.b. einen Text durchsuchen, ich will ja aber den ganzen text speichern.

Man kann damit durchsuchen, ausschneiden, ersetzen. Also matched du erst mit einem RegExp die URL und den Text und speicherst diese beiden Vars in eine Textdatei oder Datenbank.

[Schnoop]

Original geschrieben von jahlives

OffTopic:

---

Gerade im Manual gesehen, dass es sauerkraut(float menge, int dauer, double gasmenge)- Funktion in PHP 6 geben wird

---

Das geht aber nur wenn Sauerkraut eine Class ist und das Interface Kartoffeln und Bratwurst implementiert hat.

[3DMax]

regex sind frickelei.

DOM XML

[PHP-Desaster]

regex sind frickelei.

DOM XML

Sehe ich genau so. Das Problem ist allerdings, dass du nicht sicher sein kannst, dass die Eingabedaten gültiges XML/HTML sind. Da musst du dann mit einem entsprechenden XmlParser ansetzen, mit der DOM-Extension wirst du da wohl scheitern.

[3DMax]

Original geschrieben von PHP-Desaster
Das Problem ist allerdings, dass du nicht sicher sein kannst, dass die Eingabedaten gültiges XML/HTML sind.

stimmt schon. nur soll es ja ein webspider werden, da kann oder sollte man dann schon von gültigem html ausgehen. ungültige seiten werden dann halt nicht erfasst.