Feedparsen II

[newbie1955]

Hallo, da ich immer häufiger auf irgendwelche invaliden Feeds stoße, die dann mein MAGPIE parser nicht liest, denke ich ernsthaft darüber nach, mir selbst sowas zu schreiben, das für alle xml-Dateien passt.

Momentan schaffe ich es nicht, dass mir der Parser auch den Link zurückliefert, der hier steckt:

<id>http://www.tagesschau.de</id> <entry> <title>Niederlande: Willem-Alexander feierlich ins Amt eingeführt</title> <link href="[URL="http://www.php-resource.de/forum/view-source:http://www.tagesschau.de/ausland/thronwechsel-niederlande102.html"]http://www.tagesschau.de/ausland/thronwechsel-niederlande102.html[/URL]"/> <id>http://www.tagesschau.de/ausland/thronwechsel-niederlande102.html</id> <updated>2013-04-30T14:42:02.265+02:00</updated> <summary>Willem-Alexander hat seinen Eid als König der Niederlande geleistet. Zur Amtseinführung in der Nieuwe Kerk in Amsterdam versammelten sich neben Politikern des Landes auch Vertreter von Königshäusern aus aller Welt. Am Vormittag hatte Königin Beatrix ihr Amt übergeben.</summary> </entry> <entry> <title>Thronwechsel: Jubel für das neue Königspaar</title>

tagesschau.de

Wenn ich dagegen den rss2-feed nehme, findet er alles, der ist nämlich so aufgebaut:

<item> <title>Thronwechsel: Jubel für das neue Königspaar</title> <link>http://www.tagesschau.de/multimedia/bilder/thronwechsel100.html</link>

Mit dem Magpie-Parser frage ich standardgemäß so ab:

{ define('MAGPIE_INPUT_ENCODING', 'UTF-8');
define('MAGPIE_OUTPUT_ENCODING', 'UTF-8');
define('MAGPIE_CACHE_ON', false);
define('MAGPIE_CACHE_AGE', 0);
require_once('rss_fetch.inc');
$zaehl = 0;
$alttitle = "";

if ( $url ) {
$num_items = 13;
$rss = fetch_rss( $url );
$items = array_slice($rss->items, 0,$num_items);
}

echo "<ul id='feed'>";
foreach ($items as $item) {
$href = $item['link'];
$title = $item['title'];
$desc = $item['description']; 

$title = trim($title);
if (($title !== '') && ($title !== NULL) && ($title !== $alttitle)) {
echo "<li><a href = $href target='_blank'>$title</a></li>";
$alttitle = $title;
$zaehl++;
}
}
if ($zaehl == 0) {
echo $url;
echo " ist leider nicht erreichbar";
echo " (Versuchen Sie, ob Aktualisieren mit F5 hilft)";
}
else
echo "</ul>";
}
?>

Ich verstehe das so, dass er 'link' nicht findet, weil es beim atom-feed 'link href' heißt. Wenn ich aber nach 'link href' frage, kommt nix. title findet er natürlich in beiden Fällen. Ich brauche aber den atom-feed, weil nur der die richtige Reihenfolge liefert. (Nach Wichtigkeit statt nach Aktualität). Habt Ihr einen Tipp 1. für diesen Fall und 2. für das Basteln eines eigenen Parsers, der auch invalide feeds ausliest.

Danke Gruß
newbie1955

[Melewo]

Schaue Dir den an, den hatte ich mal vor einigen Jahren geschrieben, als ich noch nicht viel Ahnung hatte. Deshalb möchte ich den Code hier nicht unbedingt präsentieren. Der ist mit SimpleXML und für RSS und Atom. Weiß aber gerade nicht, ob die untere oder obere Hälfte für RSS oder Atom ist, eine von beiden Hälften jedoch gewiss.

Ein einfacher RSS/Atom Reader/Feedeader für Ihre Website/Homepage

Jetzt ist es mir wieder eingefallen, Unterschied war, einmal wurde item und einmal entry benutzt, denke bei Atom war es entry. Also, einmal mit channel->item und einmal mit entry, je nachdem ob Atom oder RSS. Die anderen Knoten unterscheiden sich auch noch etwas vom Namen. Schaue Dir das am besten an.

Werde ich mal in den nächsten Tagen überarbeiten, aus heutiger Sicht kommt mir zumindest str_replace etwas dämlich vor.

[newbie1955]

Danke, Melewo

erstmal für den Parser, werde mal versuchen, ihn zu verstehen und anzuwenden. Bei meinen Versuchen hatte ich schon item durch entry ersetzt, hatte aber noch nichts gebracht (heißt es dann "$entries as $entry" statt "items as item"?) und wie man "<link href>" umsetzt, weiß ich auch nicht. Bei rss heißt es ja 'link', was vom parser leicht zu finden ist aber muss man den Leerraum zwischen link und href miteingaben? es handelt sich um
http://www.tagesschau.de/xml/atom.

Sag mal, wenn ich die Demo des feedreaders auf Deiner Seite anschauen will, welches Passwort muss ich denn da nun eingeben, das verstehe ich nicht.

Gruß
newbie1955

[Melewo]

welches Passwort muss ich denn da nun eingeben

Das Formular bzw. den Posteingang hatte ich gestern in den Demos noch auskommentiert, um nicht spielende Kids anzulocken. Du sollst Dir nicht das Demo ansehen, Du sollst Dir den herunterladen, dann kannst Du da Dein eigenes Passwort eingeben.

Eigentlich dachte ich, dass Du bis zu der Zeile "Die XML-Datei wird geladen" alles unnötige herausnimmst und den fertigen Code übernimmst. Hatte gestern keine Lust mehr, zum Beispiel bei echo ("Ausgabe") die Klammern zu entfernen, weil bei echo heute kein Mensch mehr Klammern verwenden würde, obwohl die nicht schaden. Nun habe ich nur mal schnell etwas aufgeräumt und angepasst.

Mit den Namen der Knoten scheint auch nicht mehr alles so zu sein, wie noch vor Jahren, doch jedenfalls ladet der ja erst einmal den Feed und zur Not könnte da immer noch etwas angepasst werden, falls Du mal einen anderen Feed mit anderen Namen finden solltest, dann gebe Bescheid.

<?php
$seite = "http://www.tagesschau.de/xml/atom/";
 
$data = file_get_contents($seite);

if($data != false) {

    $data = str_replace("content:encoded", "content", $data);
    $pxml = simplexml_load_string($data, "SimpleXMLElement", LIBXML_NOCDATA);

    $si =  0;
    $cw = 10;

    /*-- für RSS --------------------------- */

    if($pxml->channel->item) {

        foreach ($pxml->channel->item as $nachricht) {

            if ($nachricht->title) {
                echo "<a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</a>";
            }
            if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->description)."<br>\n";
            }
            if ($nachricht->link) {
                echo "<a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">Linktext</a><br>\n";
            }
            if ($nachricht->pubDate) {
                echo "<br>".htmlspecialchars($nachricht->pubDate);
            }
            if ($nachricht->author) {
                echo " / ".htmlspecialchars($nachricht->author)."<br>";
            } else {echo "<br>\n";
            }

            $si++;
            if ($si == $cw) {break;
            }
        }
    }
    /*-- für Atom -------------------------- */
    else{

        foreach ($pxml->entry as $nachricht) {

            if ($nachricht->title){ $attr = $nachricht->link->attributes();
                echo "<a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</a>";
            }
            if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->summary)."<br>\n";
            }
            if ($nachricht->link) {
                $attr = $nachricht->link->attributes();
                echo "<a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\">Linktext</a><br>\n";
            }
            if ($nachricht->published) {
                $meindat = htmlspecialchars($nachricht->published);
            }
            if ($nachricht->issued) {
                $meindat = htmlspecialchars($nachricht->issued);
            }
            if ($nachricht->updated) {
                $meindat = htmlspecialchars($nachricht->updated);
            }
            $import = array("T","Z");
            $export = array(" um "," Uhr");
            $zeitan = str_replace($import, $export, $meindat);
            echo "<br>".substr($zeitan, 0, 19);

            if($nachricht->author->name) {
                echo " / ".htmlspecialchars($nachricht->author->name)."<br>";
            } else {
                echo "<br>\n";
            }

            $si++;
            if ($si == $cw) {break;
            }
        }
    }
}
else {echo "Es konnten keine Daten geladen werden!";}

?>

[newbie1955]

Danke

für die Mühe! Werde es gleich nachher ausprobieren. Im Moment spinnt der Atom-Feed der Tagesschau allerdings ohnehin alle paar Minuten, ist völlig leer usw. Aber die haben ja gerade einen Relaunch hinter sich, da wollen wir mal nicht so streng sein...

Gruß
newbie1955

[newbie1955]

Nochmal

vielen Dank - funktioniert ganz hervorragend, habe mir ein paar Angaben rausgenommen, die ich nicht ausgebe wie description oder Datum und werde noch das ul/li für die Ausgaben hinzufügen, und mir eine function draus bauen, aber sonst alles bestens. Wozu das str_replace mit "content:encoded", "content" nötig ist, weiß ich noch nicht, aber solange es funktioniert.....
Und dann werde ich noch mal rumprobieren, ob es an den berühmten bösen feeds utf_8-Probleme gibt....

Danke, vielleicht werde ich jetzt den ganzen Magpie Parser rausschmeißen. Du hast was gut....

Gruß
newbie1955

[Melewo]

Die Zeile kann raus, wenn Du die nicht benötigst. Hatte einige Feeds aus unterschiedlichen Quellen und einer enthielt dann:

<content:encoded>Text...</content:encoded>

Doch wenn Du so etwas nicht bei hast, dann kannst Du die Zeile entfernen.

[newbie1955]

Zeichenproblem, die soundsovielte

Hallo, habe bei einer ausländischen Zeitung erneut ein utf-8-Problem. Trotz utf_8 decodes bekomme ich einige Zeichen nur als Fragezeichen dargestellt. Die Ursprungsseite gibt als charset utf-8 an.

  <div class="border">
    
 <a href="http://www.novilist.hr/Vijesti" target='_blank'> 
<img src="logos/novi.jpg" alt="Novilist" style=" margin:3px 0px 0px -45px ; padding:0px;"/></a>
<ul>

<?php
$data = file_get_contents('http://www.novilist.hr/Vijesti');
$doc = new DOMDocument();

 
$doc->loadHTML($data); 


$xPath = new DOMXPath($doc);

$zaehler = 0;
foreach ($xPath->query('//h2') as $element) 
{    


   
     $hreft = $element->getAttribute('href');
     $class = $element->getAttribute('class');
     $title = str_replace('""','"',$element->nodeValue); 


$hreft = utf8_encode($hreft);
$title = utf8_encode($title);


echo "<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n"; 
                 $zaehler++;

    }  

foreach ($xPath->query('//h4/a') as $element) 
{    
  

     $hreft = $element->getAttribute('href');
     $class = $element->getAttribute('class');
     $title = str_replace('""','"',$element->nodeValue); 


If ($zaehler <= 13)
    {

$hreft = utf8_encode($hreft);
$title = utf8_encode($title);

echo "<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n"; 
                 $zaehler++;


           }
    }  

?>
</ul> 

  
    </div>

Es müsste herauskommen:

IZBORI 2013 Švornić na Korzu otkrio spomenik za izgubljenih 40.000 stanovnika i 30.000 radnih mjesta

Es kommt aber heraus:

IZBORI 2013 ?vorni? na Korzu otkrio spomenik za izgubljenih 40.000 stanovnika i 30.000 radnih mjesta

Dank und Gruß newbie1955

[mephisto111]

Zeichenproblem

Hallo newbie1955,

zwei Punkte:

1. Wenn die Ursprungsseite UTF-8-kodiert ist, weshalb dann die beiden Zeilen mit "utf8_encode"?
2. Wenn man auf die erste Beispielzeile ganz unten "utf8_decode" anwendet, lassen sich zwei der Zeichen nicht konvertieren und man bekommt die Fragezeichen (wie in der zweiten Beispielzeile angegeben).

[newbie1955]

utf_8

Ja, es war der etwas hilflose Versuch, meine eigene Ausgabe noch mal ausdrücklich in utf8 zu codieren, da ich auf einer anderen Unter-Seite ähnliche Probleme hatte, dass meine eigene Seite trotz entsprechender header-Deklarierung nicht utf8 ausgab. Aber ob mit oder ohne encode oder decode oder ganz ohne : es werden Zeichen nicht richtig ausgegeben.

[newbie1955]

Der Link

.. zu der entsprechenden Seite:

Vijesti - Naslovnica / Novi list

[mephisto111]

Debugging

Hallo newbie1955,

was wird ausgegeben, wenn oben im Code die Zeile

echo 'Švornić'; 

ergaenzt wird? Wenn hier schon ein Fehler auftritt, koennte ein falsch eingestellter Browserzeichensatz (z.B. durch eine falsche oder fehlende Header-Einstellung) die Ursache des Problems sein.

[newbie1955]

Das hier

wird ausgegeben:

�vorni�

[Melewo]

Bei mir wird alles richtig ausgegeben. Füge mal so eine Zeile mit č ein und konvertiere dann die Datei und rufe sie dann auf.

<?php header("Content-Type: text/html; charset=UTF-8"); ?>
<!DOCTYPE html>
<html>

<head>
<title>Test</title>
<meta charset="UTF-8">
</head>

<body>
<h1>Sučeljavanje gradonačelnika nisu došli</h1>
<div class="border">
<a href="http://www.novilist.hr/Vijesti" target="_blank">
<img src="logos/novi.jpg" alt="Novilist" style=" margin:3px 0px 0px -45px; padding:0px"/></a>

<ul>
<?php
error_reporting(-1);
ini_set("display_errors", true);
libxml_use_internal_errors(true);

$data = file_get_contents('http://www.novilist.hr/Vijesti');
$doc = new DOMDocument();

$doc->loadHTML($data);

$xPath = new DOMXPath($doc);

$zaehler = 0;
foreach ($xPath->query('//h2') as $element) {

    $hreft = $element->getAttribute('href');
    $title = str_replace('""','"',$element->nodeValue);

    echo "<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
    $zaehler++;
    }

foreach ($xPath->query('//h4/a') as $element) {

    $hreft = $element->getAttribute('href');
    $title = str_replace('""','"',$element->nodeValue);

    If ($zaehler <= 13) {
        echo "<li><a href=\"".htmlspecialchars($hreft, ENT_QUOTES)."\" target=\"_blank\">".htmlspecialchars($title, ENT_QUOTES)."</a></li>\n";
        $zaehler++;
    }
}
?>
</ul>
</div>
</body>
</html>

Habe es unter Localhost und im Web getestet, kein Unterschied. Denke das hängt bei Dir irgendwie damit zusammen, dass Du die Dateien nicht per FTP hochladest, sondern die da irgendwie hochkopierst oder wie war das mit dem Hochladen? Doch dann müsste die ja auch bei Dir zumindest unter Localhost zumindest erst einmal richtig ausgeben werden und sollte nur anschließend im Web Glyphen oder Fragezeichen liefern, falls etwas nicht stimmt.

[newbie1955]

Neuer feed

Du hattest mir ja netterweise bei dem feed geholfen, jetzt habe ich wieder einen nicht-validen, der aber von dem Script unten auch nicht erreicht wird. Du schriebst ja, ich soll Dir dann Bescheid geben: ALso bei dem hier kommt als Ergebnis nix, obwohl der Browser ihn separat aufgerufen anzeigt.

 <?php

$seite = "http://www.nordbayern.de/cmlink/15.423?cid=2.178";
 
$data = file_get_contents($seite);

if($data != false) {

     $pxml = simplexml_load_string($data, "SimpleXMLElement", LIBXML_NOCDATA);

    $si =  0;
    $cw = 10;

    /*-- für RSS --------------------------- */

    if($pxml->channel->item) {

        foreach ($pxml->channel->item as $nachricht) {

            if ($nachricht->title) {
                echo "<li><a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</li></a>";
            }
            if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->description)."<br>\n";
            }
            if ($nachricht->link) {
                echo "<a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">Linktext</a><br>\n";
            }
            if ($nachricht->pubDate) {
                echo "<br>".htmlspecialchars($nachricht->pubDate);
            }
            if ($nachricht->author) {
                echo " / ".htmlspecialchars($nachricht->author)."<br>";
            } else {echo "<br>\n";
            }

            $si++;
            if ($si == $cw) {break;
            }
        }
    }
    /*-- für Atom -------------------------- */
    else{

        foreach ($pxml->entry as $nachricht) {

            if ($nachricht->title){ $attr = $nachricht->link->attributes();
                echo "<li><a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</li></a>";
            }
           /* if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->summary)."<br>\n";
            }
            if ($nachricht->link) {
                $attr = $nachricht->link->attributes();
                echo "<a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\"></a><br>\n";
            }
         if ($nachricht->published) {
                $meindat = htmlspecialchars($nachricht->published);
            }
            if ($nachricht->issued) {
                $meindat = htmlspecialchars($nachricht->issued);
            }
            if ($nachricht->updated) {
                $meindat = htmlspecialchars($nachricht->updated);
            }
            $import = array("T","Z");
            $export = array(" um "," Uhr");
            $zeitan = str_replace($import, $export, $meindat);
            echo "<br>".substr($zeitan, 0, 19);

            if($nachricht->author->name) {
                echo " / ".htmlspecialchars($nachricht->author->name)."<br>";
            } else {
                echo "<br>\n";
            }
*/
            $si++;
            if ($si == $cw) {break;
            }
        }
    }
}
else {echo "Es konnten keine Daten geladen werden!";}

?>   
</ul>

Gruß und Dank newbie1955

Das Formular bzw. den Posteingang hatte ich gestern in den Demos noch auskommentiert, um nicht spielende Kids anzulocken. Du sollst Dir nicht das Demo ansehen, Du sollst Dir den herunterladen, dann kannst Du da Dein eigenes Passwort eingeben.

Eigentlich dachte ich, dass Du bis zu der Zeile "Die XML-Datei wird geladen" alles unnötige herausnimmst und den fertigen Code übernimmst. Hatte gestern keine Lust mehr, zum Beispiel bei echo ("Ausgabe") die Klammern zu entfernen, weil bei echo heute kein Mensch mehr Klammern verwenden würde, obwohl die nicht schaden. Nun habe ich nur mal schnell etwas aufgeräumt und angepasst.

Mit den Namen der Knoten scheint auch nicht mehr alles so zu sein, wie noch vor Jahren, doch jedenfalls ladet der ja erst einmal den Feed und zur Not könnte da immer noch etwas angepasst werden, falls Du mal einen anderen Feed mit anderen Namen finden solltest, dann gebe Bescheid.

<?php
$seite = "http://www.tagesschau.de/xml/atom/";
 
$data = file_get_contents($seite);

if($data != false) {

    $data = str_replace("content:encoded", "content", $data);
    $pxml = simplexml_load_string($data, "SimpleXMLElement", LIBXML_NOCDATA);

    $si =  0;
    $cw = 10;

    /*-- für RSS --------------------------- */

    if($pxml->channel->item) {

        foreach ($pxml->channel->item as $nachricht) {

            if ($nachricht->title) {
                echo "<a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</a>";
            }
            if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->description)."<br>\n";
            }
            if ($nachricht->link) {
                echo "<a href=\"".htmlspecialchars($nachricht->link)."\" target=\"_blank\">Linktext</a><br>\n";
            }
            if ($nachricht->pubDate) {
                echo "<br>".htmlspecialchars($nachricht->pubDate);
            }
            if ($nachricht->author) {
                echo " / ".htmlspecialchars($nachricht->author)."<br>";
            } else {echo "<br>\n";
            }

            $si++;
            if ($si == $cw) {break;
            }
        }
    }
    /*-- für Atom -------------------------- */
    else{

        foreach ($pxml->entry as $nachricht) {

            if ($nachricht->title){ $attr = $nachricht->link->attributes();
                echo "<a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\">".htmlspecialchars($nachricht->title)."</a>";
            }
            if ($nachricht->content) {
                echo "<br>\n".htmlspecialchars($nachricht->content)."<br>\n";
            } else {
                echo "<br>\n".htmlspecialchars($nachricht->summary)."<br>\n";
            }
            if ($nachricht->link) {
                $attr = $nachricht->link->attributes();
                echo "<a href=\"".htmlspecialchars($attr["href"])."\" target=\"_blank\">Linktext</a><br>\n";
            }
            if ($nachricht->published) {
                $meindat = htmlspecialchars($nachricht->published);
            }
            if ($nachricht->issued) {
                $meindat = htmlspecialchars($nachricht->issued);
            }
            if ($nachricht->updated) {
                $meindat = htmlspecialchars($nachricht->updated);
            }
            $import = array("T","Z");
            $export = array(" um "," Uhr");
            $zeitan = str_replace($import, $export, $meindat);
            echo "<br>".substr($zeitan, 0, 19);

            if($nachricht->author->name) {
                echo " / ".htmlspecialchars($nachricht->author->name)."<br>";
            } else {
                echo "<br>\n";
            }

            $si++;
            if ($si == $cw) {break;
            }
        }
    }
}
else {echo "Es konnten keine Daten geladen werden!";}

?>