[Script] zahl der indizierten seiten bei google auslesen

**jahlives** · 26.05.2008, 15:05

Einfach aus dem Quellcode auslesen, wäre wohl angesagt

**jeichi** · 26.05.2008, 15:06

Original geschrieben von jahlives
Einfach aus dem Quellcode auslesen, wäre wohl angesagt

tja, dass hatte ich schon versucht ... hab sowas ähnliches schon mal gemacht ... klappt hier aber scheinbar nicht?! kann google das irgendwie sperren?!

HAT SICH BEREITS ERLEDIGT, DANKE!!!

**TobiaZ** · 26.05.2008, 15:18

HAT SICH BEREITS ERLEDIGT, DANKE!!!

Lösung für andere?

kann google das irgendwie sperren?!

Die können erkennen, woher die Anfrage kommt. Passiert denen das zu oft, so blockieren die das.

**jeichi** · 26.05.2008, 15:21

hat mit dem quelltext auslesen funktioniert ... (dachte ich), allerdings funktioniert das ganze 'online' nicht ... da kommt die fehlermeldung ...

PHP-Code:


Warning: file([url]http://www.google.at/search?hl=de&q=site%3Awww.filmempfehlung.com&btnG=Google-Suche&meta=[/url])



[function.file]: failed to open stream: HTTP request failed! HTTP/1.0 403 Forbidden in /home/.sites/27/site244/web/indiz.php on line 4  Warning: implode()



[function.implode]: Bad arguments. in /home/.sites/27/site244/web/indiz.php on line 4

hat 'nur' offline funktioniert ... kann es sein, dass es an meinem hoster liegt, das der da etwas sperrt bzw. nicht zulässt?!

also leider doch noch nicht erledigt, habe ich gerade gemerkt!

**TobiaZ** · 26.05.2008, 15:22

Nein, ganz offensichtlich trifft der Fall ein, den du oben bereits vermutet hast. Google sperrt dich aus.

**jeichi** · 26.05.2008, 15:24

Original geschrieben von TobiaZ
Nein, ganz offensichtlich trifft der Fall ein, den du oben bereits vermutet hast. Google sperrt dich aus.

warum klappt das dann auf localhost-ebene?!
wie machen das dann die ganzen pagerank ausleser usw. ... die zeigen einem das ja auch an?!

**TobiaZ** · 26.05.2008, 15:28

warum klappt das dann auf localhost-ebene?!

Weil die IP offensichtlich für nen "normalen" User gehalten wird. Bist du ja vermutlich auch die meiste Zeit.

ie machen das dann die ganzen pagerank ausleser usw. ... die zeigen einem das ja auch an?!

Da findest du sicher hunderte (verzweifelte) Threads im Netz!

Bei den Meisten Services dürften die Werte übrigens gar nicht mehr aktuell sein.

**jahlives** · 26.05.2008, 15:31

Wie hast du denn probiert den Request an Google abzusetzen? Allenfalls reicht es bereits aus einen USER-AGENT Header mitzuschicken, der sich als "normaler" Browser ausgibt...

**jeichi** · 26.05.2008, 15:35

Original geschrieben von jahlives
Wie hast du denn probiert den Request an Google abzusetzen? Allenfalls reicht es bereits aus einen USER-AGENT Header mitzuschicken, der sich als "normaler" Browser ausgibt...

wie könnte ich sowas mitschicken?!

PHP-Code:


   $urlg= "http://www.google.at/search?hl=de&q=site%3Awww.filmempfehlung.com&btnG=Google-Suche&meta=";

$textg=implode("\n",file($urlg));

$beforeg='von ungefähr <b>'; 

if (strpos($textg,$beforeg) <> 0  ) 

{

$afterg='</b>';

$strg=substr($textg,strpos($textg,$beforeg)+strlen($beforeg));

$strg=substr($strg,0,strpos($strg,$afterg));

$gindex = strip_tags(trim($strg));

}

echo "Google-Index: <b>" . $gindex . "</b> indizierte Seiten";

so sieht mein versuch aus ...!

**jahlives** · 26.05.2008, 15:40

Ich würde jetzt hier nicht file() sondern fsockopen() + Co verwenden. Damit kannst du den gesamten Request so modifizieren wie du willst

PHP-Code:


$fp = fsockopen("google.at", 80, $errno, $errstr, 30);

$body = false;

if (!$fp) {

    echo "$errstr ($errno)<br />\n";

} else {

    $out = "GET /search?hl=de&q=site%3Awww.filmempfehlung.com&btnG=Google-Suche&meta= HTTP/1.1\r\n";

    $out .= "Host: www.google.at\r\n";

    $out .= "User-Agent: Mozilla/5.0 (compatible; Konqueror/3.2; Linux 2.6.2) (KHTML, like Gecko)\r\n";

    $out .= "Connection: Close\r\n\r\n";



    fwrite($fp, $out);

    while (!feof($fp)) {

        $re = fgets($fp);

        if($re == "\r\n"){

          $body = true;

          continue;

        }

        if($body === true){

          $dat .= $re;

        }

    }

    fclose($fp);

}

und schau mal was du in $dat hast

EDIT:

Getestet und funzt
tobisworld.ch/misc/test/google_test.php

EDIT:

Nachdem nun bewiesen ist, dass es funzt entferne ich die Datei wieder von meinem Server. Nicht, dass mein Server bei Google noch geblockt wird

**jeichi** · 26.05.2008, 15:47

da bekomme ich eine 'error fehlermeldung geschrieben' ... google scheint das wirklich nicht zuzulassen. schade!

ERROR
The requested URL could not be retrieved

While trying to retrieve the URL: http://www.google.at/search? The following error was encountered:
* Access Denied.
Access control configuration prevents your request from being allowed at this time.
Please contact your service provider if you feel this is incorrect.
Your cache administrator is root.

trau mich da gar nicht zuviele versuche zu starten, nicht das google da 'böse' auf meine domain reagiert!

**jahlives** · 26.05.2008, 15:48

Und die Fehlermeldung hast du erhalten, als du meinen Link geklickt hast? Ich kriege dann nämlich keine Fehlermeldung, sondern direkt die gesuchte Resultatseite bei Google...

**jeichi** · 26.05.2008, 15:51

Original geschrieben von jahlives
Und die Fehlermeldung hast du erhalten, als du meinen Link geklickt hast? Ich kriege dann nämlich keine Fehlermeldung, sondern direkt die gesuchte Resultatseite bei Google...

hab den link erst jetzt gesehen ... hatte dein script bei meinem eingebaut ... wenn ich deinen link klicke, bekomme ich die google-seite zu sehen und oben in der mitte und unten ein paar zahlen ... aber nicht die gewünschten '30.400' ...?!

**jahlives** · 26.05.2008, 15:53

Schau dir mal den Screen Short an. Ich kriege deine gesuchten Zahlen

Angehängte Dateien

google.jpg (87,5 KB, 247x aufgerufen)

[Script] zahl der indizierten seiten bei google auslesen