gedanken anstoß bei script (trafik senken)

[Nordin]

Hallo Leute,

ich hab doch da den CTXtra gebaut, jetzt hab ich fest gestellt der verbraucht pro Tag gut 700MB-1GB Trafik...

Erklärung:
Jeder der sich den CTXtra installiert kann online auf eine Liste mit Bad-IP's und SPAM-words zugreifen. (z.B. hier http://wupmedia.de/ctracker/iplist.xml) diese Listen werden zur aktualiesierung des jeweils installierten CTXtra gebraucht.

Ich hatte bereits in einem Update so geändert das das script nur alle 24 stunden bei mir vorbei kommt und guckt ob es was neues gibt. zumal lasse ich vorher mit MD5-Prüfsummen kontrulieren ob sich die Datei verändert hat... erst dann macht das script ein update der listen.

Trotzdem ist mir der träfik eindeutig noch zu haoch. Hat jemand noch eine bessere Idee wie ich das lösen könnte das ich den Trafik sänke?

[Bugbuster]

Trafik

was um himmelswillen soll das sein

lass dein script nur alle 48 stunden vorbei schaun?! und schupps haste deinen traffic über den monat gesehen halbiert.

mfg
bugbuster

[pekka]

Zip-Komprimierung für die Listen? Kann immense Einsparungen bewirken.

[prego]

vielleicht auch mod_deflate...

//edit:
ps: vorrausgesetzt, der client (der der das XML-File hol) kann komprimierte Streams

[Slava]

Re: gedanken anstoß bei script (trafik senken)

Original geschrieben von Nordin

Ich hatte bereits in einem Update so geändert das das script nur alle 24 stunden bei mir vorbei kommt und guckt ob es was neues gibt. zumal lasse ich vorher mit MD5-Prüfsummen kontrulieren ob sich die Datei verändert hat... erst dann macht das script ein update der listen.
[/B]

wie kann man eine datei mit md5 prüfen, wenn man sie vorher nicht komplet ausgelesen hat?
1)schau dir HEAD protokol und besonders Last-Modified.
2)XML muss man nicht dafür einzusetzten, dass es in Mode ist, sondern um die Verschahtelte strukturen darzustellen und gleichzeitig ein kompatibilität für export zu schafen.
Du hast keine verschahtelte Strukturen und eine einfache Liste kann wunderbar von jeder anderer Program gelesen werden.
-----------
<word>
<ip>12.201.37.54</ip>
</word>
--------------------------------
du benutzt für xml struktur 22 lesbare zeichen und 3 zeilen-umbruche um eine ip-adresse, die maximal 15 zeichen lang ist.
wie wäre es mit
0CC92536\n
-------------
mal rechnen
aktuele datei ist 26668 Byte
26668/(22+3+(11 durchnit-ip-länge))=>740 ip in datei
740*9(meine variante)=>6667
und 6667 ist schon 4 mal weniger als 26668
wenn man das alles noch durch gz_handler jagt, dann bekommt man bei so einer kleiner datei noch etwas gesparrt.
In jedem fall lohnt es sich noch kontrollieren, ob die gezippte variante nicht auf ein mal grösser als ungezipte ist, da bei den kleinen dateien kann das auch mal vorkommen.

[Nordin]

Also das mit den Zeichen ist eine gute Idee... *mich mal an kopf fass* ... alle 48 stunden ist natürlich auch nicht schlecht...

hmm beides zusammen würde alles schon um gut auf 1/4 verkleinern...

//EDIT ach ja die frage mit MD5... ich mache es so:

$chkmd5_iplist = "http://wupmedia.de/ctracker/iplist.xml";
$chkmd5_spamlist = "http://wupmedia.de/ctracker/spamlist.xml";
    
$chkmd5return_iplist = md5_file($chkmd5_iplist);
$chkmd5return_spamlist = md5_file($chkmd5_spamlist); 

und danach das ergebniss mit dem gespeicherten vergleichen... funzt super

[wahsaga]

Original geschrieben von Nordin
ach ja die frage mit MD5... ich mache es so:

Also müssen beide Ressourcen jedes mal komplett geladen werden, damit md5() den Hash davon berechnen kann ... und du wunderst dich, was so viel Traffic verursacht ...?

[ghostgambler]

Wie wäre es beim Laden einfach last-modified und if-modified-since http-header zu verwenden?! Oo
Will heißen ganz popliges http-caching...

Oder auch etag, wenn das genehmer ist~