Spezielle MySql Abfrage und Speicherlimit

Collapse
X
 
  • Filter
  • Time
  • Show
Clear All
new posts

  • Spezielle MySql Abfrage und Speicherlimit

    Hallo Leute,

    Ich habs grad bemerkt das es zahlreiche Postings gibt die das Thema "Allowed memory size..." behandeln.
    Ich hab da leider eine etwas verzwickte Geschichte.

    Ich habe in der Datenbank für jeden Datensatz ein Feld in dem max 5 Wörter, welche durch ein ; getrennt sind, stehen.
    Schaut zB. so aus: WORT1;WORT2;WORT3;WORT4;WORT5;

    Ich habe an die 50.000 Datensätze und jeder Datensatz hat bis zu 5 Wörter in dieser Spalte - kann sein muß aber nicht sein. Können auch nur 2 Wörter sein oder 3 oder 4 oder nur eines.
    Weiters stehen nicht immer die selben Wörter an der selben Position.

    Im Prinzip gehts darum, dass jemand bis zu 5 Keywords für seine Anzeige eintragen kann.

    Meine Aufgabe ist es nun, die einzelnen Keywords zu zählen und anschließend die 3 häufigsten auszugeben und 3 zufällig gewählte.

    Soll dann so aussehen dass das Keywort "Sonnenschein" zB. 200 mal vorgekommen ist, "Herbstlaub" 500 mal und "Winterreifen" 300 mal.
    Diese 3 Keywords sind irgendwo bei diesen 50.000 Datensätze in dieser Spalte gestanden.
    Meine HTML-Ausgabe sollte jetzt lauten: Herbstlaub, Winterreifen und Sonnenschein. Die 3 zufälligen lassen wir mal gut sein

    Jetzt hätte ich folgendes Script gemacht welches bis zu 38.000 Datensätzen auch funktioniert:
    PHP Code:
    $result mysql_query("SELECT tagging FROM ".$DbMotor."anzeigen");
    while(
    $data=mysql_fetch_array($result)) { $TaggIng .= $data["tagging"]; }

    $TaggIng substr($TaggIng,0,-1); // weg mit dem letzten ;
    $TaggIng explode(";",$TaggIng);

    $UnterschiedlicheTags array_count_values($TaggIng);
    foreach(
    $UnterschiedlicheTags as $Schluessel=>$Wert)
    {
        echo
    "<li>",
            
    $Schluessel,
            
    " (",
            
    $Wert,
            
    ")</li>";
            
    $i=$i+$Wert;

    Bis zum "$TaggIng = substr($TaggIng,0,-1);" gibt es keine Probleme.
    Aber das explode frißt zu viel Speicher und er verabschiedet sich eben mit dem "Allowed memory size..." Fehler.

    Ich hab in der PHP.ini den erlaubten Speicher auf 16MB beschränkt und möchte das auch gar nicht erst in die Höhe setzen, weil die Anzahl der Datenbankeinträge ständig steigen wird und ich nicht jede Woche das Limit höher schrauben kann.

    Meine Frage nun:
    Kann ich das nicht auch so lösen dass mir die DB gleich das Resultat zurückliefert?
    Eben "Sonnenschein" zB. 200 mal vorgekommen, "Herbstlaub" 500 mal und "Winterreifen" 300 mal.
    Ursprünglich wollte ich die 5 Keywords auf 5 Splaten aufteilen, nur weiß ich dann überhaupt nicht mehr wie ich das ganze abfragen soll.

    Ich hoffe, dass es hier jemanden gibt der mir helfen kann.
    MySQL ist noch nicht so meine Stärke.

    lg. und herzlichen Dank.
    Werner
    bidgo - Benzin im Blut
    Wir wollen Dich und Deine Karre
    Videoblog & Bilderblog zu verschiedenen Bereichen

  • #2
    Na dann musst du es wohl anders machen.


    Machs doch einfach so:

    1. Lese alle DB-Einträge aus.
    2. packe das explode in die while-Schleife
    3. Überprüfe noch in der while-Schleife anhand von 5 IF-Abfragen, ob "WORT1", etc. vorkommt, wenn ja setze den Zähler von wort1 eins höher, ansonsten nicht.
    Also jeden Datensatz einzeln auswerten.

    Wäre zumindest ein Vorschlag, es anders zu lösen, wobei das wahrscheinlich von Seitenaufbau länger dauert als deine Version.
    mfg - sagg

    Comment


    • #3
      Die Idee ist nicht schlecht.
      Nur das Wort "WORT1" ist/kann immer anders sein.

      Ich mach mal ein Beispiel mit nur 5 Datensätzen.

      1) Sonne;Winter;Frühling;Herbst;
      2) Werner;Peter;Sonne;Martina;Winter;
      3) Alles;
      4) Peter;Martina;Winter;Ich will;
      5) Liebe;Sonne;

      Diese Wörter stehen in der DB in einer einzigen Spalte und nicht jedes Wort in einer eigene Splate!
      Das Ergebnis sollte jetzt so aussehen:

      Sonne => 3
      Winter => 3
      Martina => 2
      Frühling => 1
      Herbst => 1
      Werner => 1
      Peter => 1
      Alles => 1
      Ich will => 1
      Liebe => 1


      Eigendlich brauche ich ja eh nur die 5 höchsten Wörter und die müssen nicht unbedingt alphabetisch sortiert sein, das ist wurscht.

      Vielleicht ist es damit leichter zu verstehen was mir mein Chef damit aufgetragen hat
      Aber ich probiere es mal mit dieser Schleife und hoffe noch auf Unterstützung von Euch!
      Danke
      bidgo - Benzin im Blut
      Wir wollen Dich und Deine Karre
      Videoblog & Bilderblog zu verschiedenen Bereichen

      Comment


      • #4
        Na gut, da habe ich das wohl falsch verstanden.

        Dann würde ich es einfach so machen, das du ein Array erzeugst, und immer $array[$wort] eins höher setzt.
        $wort wäre dann das Wort, welches ausgelesen wurde.
        Das obige wäre dann z. B. $array['Sonne'].

        Ganz grobes Beispiel zur Verdeutlichung:

        $vars = explode....
        foreach ($vars AS $row) {
        $arr[$row]++;
        }
        mfg - sagg

        Comment


        • #5
          Im Grunde ist es doch ein ganz einfaches Tagging System, oder?
          Ich habe mich auch schon gefragt wie das genau funktioniert. Leider
          habe ich auch noch kein Tutorial o.ä. dazu gefunden! Obwohl es sich
          doch überall durchsetzt?! (Flickr, GMail, Social Bookmarking, diverse
          Blogs...) Und dort ist es ja auch noch so, das du beliebig viele Tags zu einem
          Datensatz aufnehmen kannst. Wie zum Teufel funktioniert das? Sogar
          hier im Forum hab ich nichts dazu gefunden, bei google auch nicht. Ich würde
          gern sowas auch mal programmieren!
          Oder sind das extrem komplexe Such-Algorythmen, die sich gar nicht so
          einfach in ein Software-Script umsetzen lassen? Das mag ich eigentlich
          nicht glauben, da sich die meisen Tag-Seiten super schnell aufbauen! Dazu
          meistens noch mit unterschiedlichen Schriftgrößen und Farben, je nach
          Wichtigkeit oder Themenbezug zum aktuellen Thema!
          GLORIA PERPETUA

          Comment


          • #6
            du hast 3 tabellen:

            1) deine normalen Einträge (Blog, Bilder, Links, ...)
            -> id | titel | ...
            2) die tags
            -> tag_id | tag
            3) verknüpfungs tabelle
            -> id | tag_id


            dann noch nen join über die tabellen und das wars schon. hat gar nicht weh getan.

            ach so, die sache mit den schriftgrößen, da hilft dir vielleicht das stichwort tag cloud weiter..

            Comment


            • #7
              Original geschrieben von TobiaZ
              du hast 3 tabellen:

              1) deine normalen Einträge (Blog, Bilder, Links, ...)
              -> id | titel | ...
              2) die tags
              -> tag_id | tag
              3) verknüpfungs tabelle
              -> id | tag_id
              naja, so hatte ich das auch schon überlegt... aber wird das echt so gelöst?
              weil man darf ja jeden tag nur 1 mal aufnehmen, also muss immer überprüft
              werden, ob ein tag schon vorhanden ist. wenn ja, wird nur die zuordnung
              gespeichert, wenn nein, wird der tag in die tag-tabelle aufgenommen.
              stelle ich mir etwas aufwenig vor, bei großen datenmengen. dafür wäre
              die abfrage natürlich ziemlich leicht...

              ich dachte eher dran, das jeder datensatz ein feld [tags] hat, wo alle
              vom user eingegebenen tags durch komma getrennt drin stehen.
              beim suchen/filtern würde ich dann mit %LIKE% alle zurück bekommen
              die ich haben möchte. obwohl das bei großen mengen an datensätzen
              sicherlich genauso unpraktisch ist^^

              muss ich mal sehen was am besten ist. ich finde es erstaunlich wie wenig
              lektüre bis jetzt über das thema zu finden ist!
              GLORIA PERPETUA

              Comment


              • #8
                Du solltest in der Tat dein Table Design überdenken
                Ich habe mir angewöhnt, dass ich mein Script vielleicht langsam schreiben lasse, es aber schnell lesen kann.

                Sprich ich mache evtl beim Eintrag 5 MySQL Abfragen statt einer, dafür krieg ich alle Tags mit einer Abfrage später aus der DB ohne noch ein Explode() oder so anzuwenden. Kommt natürlich auhc immer auf die Größe der Daten an.

                Comment

                Working...
                X