Apache liefert zeitweise keine Seiten.

**onemorenerd** · 09.11.2005, 00:16

Sind diese Einbrüche irgendwie regelmäßig, also etwa immer um 18 Uhr?

Was läuft im Moment der "Flaute" denn noch auf der Kiste? Cron, bestimmte Scripte, DB- oder FTP-Abgleich zum Feierabend ...?

Wie groß sind die Logfiles? Und was kann man aus ihnen für die fraglichen Zeiträume ablesen (Googlebot, DoS-Versuch, ...)?

Welche Dienste laufen noch außer Webserver und FTP und was findet sich in deren Logs? Ist MySQL über TCP/IP erreichbar?

Sorry, vorerst nur Fragen.

**EEBKiller** · 09.11.2005, 21:33

Original geschrieben von onemorenerd
Sind diese Einbrüche irgendwie regelmäßig, also etwa immer um 18 Uhr?

Nein, jetzt zum Beispiel ging es etwa um 21:01 los.
Siehe:
http://outpost.cnchq.de/eebkiller/stats4.gif
http://outpost.cnchq.de/eebkiller/stats5.gif

Original geschrieben von onemorenerd
Was läuft im Moment der "Flaute" denn noch auf der Kiste? Cron, bestimmte Scripte, DB- oder FTP-Abgleich zum Feierabend ...?

Nicht dass ich wüsste. Ich hab alle Backups, Logauswertungen und sonstiges zwischen 1:00 und 3:00 gelegt. Confixx Counterscript läuft halt jede Minute durch. Und einen eigenen Cron habe ich, der auch jede Minute gestartet wird, sich aber in den meisten Fällen nach µs schin wieder beendet.

Original geschrieben von onemorenerd
Wie groß sind die Logfiles? Und was kann man aus ihnen für die fraglichen Zeiträume ablesen (Googlebot, DoS-Versuch, ...)?

Die Logfiles sind sehr groß. Ich habe mal eben eins angehängt vom Apache während dieser Zeitspanne ...
http://outpost.cnchq.de/eebkiller/stats6.gif
Man sollte sich mal die 3 Bereiche genau anschauen. Erst massenweise anfragen, dann NICHTS mehr, und dann gehts wieder normal weiter ....

Original geschrieben von onemorenerd
Welche Dienste laufen noch außer Webserver und FTP und was findet sich in deren Logs? Ist MySQL über TCP/IP erreichbar?

Grundsätzlich möglich, aber momentan hab ich keinerlei User, die auch von extern auf den mysql Server zugreifen könnten. Sonst sind die Logs recht monoton. Um die Zeit haben die meisten Logs nicht mal wirklich viele Events. Hier mal ein POP-Login, dort mal ein Cron, der sich als root geauthed hat ....

Code:

XXX:/home/admin# pstree -u
init-+-apache2-+-apache2(www-data)
     |         |-apache2(www-data)-+-php-fcgi(admin)---php-fcgi
     |         |                   |-11*[php-fcgi(web1)]
     |         |                   |-php-fcgi(web2)
     |         |                   |-php-fcgi(web4)
     |         |                   |-php-fcgi(web5)
     |         |                   `-php-fcgi(web6)
     |         |-apache2(www-data)---apache2---apache2
     |         |-6*[apache2(www-data)---apache2---26*[apache2]]
     |         `-pipelog.pl
     |-bdflush
     |-cron---cron---php---php-fcgi
     |-dhcpcd
     |-7*[getty]
     |-inetd
     |-keventd
     |-khubd
     |-2*[kjournald]
     |-klogd
     |-ksoftirqd_CPU0
     |-ksoftirqd_CPU1
     |-kswapd
     |-kupdated
     |-master-+-2*[bounce(postfix)]
     |        |-cleanup(postfix)
     |        |-local(postfix)
     |        |-pickup(postfix)
     |        |-proxymap(postfix)
     |        |-qmgr(postfix)
     |        `-trivial-rewrite(postfix)
     |-mysqld(mysql)---mysqld---8*[mysqld]
     |-4*[php-fcgi(web2)]
     |-saslauthd---4*[saslauthd]
     |-sshd---sshd---sshd(admin)---bash---bash(root)---mc---bash---pstree
     |-syslogd
     `-vsftpd

Im Grunde also ne Standard-Config. Apache2, PHP5, MySQL4, Postfix, vsftp, confixx (webalizer) (gegen 1:00)

Original geschrieben von onemorenerd
Sorry, vorerst nur Fragen.

Kein Problem

**onemorenerd** · 09.11.2005, 23:29

Ich bin ja (intuitiv

) der Meinung, wenn PHP, dann nicht MPM. Denn viele Libs, die PHP so nutzt, sind nicht thread-safe. Kirsche und Minze ...

Probiers mal mit normalem prefork, also Prozesse statt Threads.

Falls das nicht hilft: In dem Apachelog sind im gekennzeichneten Bereich einige Requests doppelt. Merkwürdig, denn a) haben sie etwas mit Downloaden zu tun, aber es wird nix runtergeladen (schließe ich mal aus der Größe) und b) kommen diese Requests gleich zweimal durch, während du nach eigenen Angaben keinen einzigen VHost mehr erreichen kannst.

Schau dir die fraglichen Scripte (auch die, die kurz zuvor liefen) mal an, findet sich dort evtl. ähnlicher Code oder sonstwas (Zugriff auf selbe Resource -> Deadlock, I/O-intensive Schleifen)?

Um den Fehler besser lokalisieren zu können, empfiehlt sich natürlich MySQL nur lokal erreichbar zu machen, den FTP-Server abzuschalten (zumindest nachts) und überhaupt alles was nicht sein muß, vorrübergehend abzustellen.

Aber ich denke, es liegt wirklich eher an der Kombi MPM/PHP.

Eines interessiert mich in dem Zusammenhang: Ich weiß, dass MPM mit 2.4er Kernel nicht rund läuft. Du hast nicht zufällig einen 2.6er? Der soll diesbezüglich ja besser sein, ich habe (aus anderen Gründen) auch schon einige Kisten 'befördert', aber ich lasse wg. schlechten Erfahrungen die Finger von MPM. Also hast du 2.6? Und liegts an MPM?

**EEBKiller** · 12.11.2005, 17:59

Original geschrieben von onemorenerd
Eines interessiert mich in dem Zusammenhang: Ich weiß, dass MPM mit 2.4er Kernel nicht rund läuft. Du hast nicht zufällig einen 2.6er? Der soll diesbezüglich ja besser sein, ich habe (aus anderen Gründen) auch schon einige Kisten 'befördert', aber ich lasse wg. schlechten Erfahrungen die Finger von MPM. Also hast du 2.6? Und liegts an MPM?

Ich bin kein Linux Pro, ich weiss nur, dass es Debian Sarge ist

Für die paar kleinen Dienste reicht mein Wissen gerade noch aber vom Kernel lass ich schön brav die Finger

ich hab jetzt mal apache2_mpm_prefork drauf geklatscht. Also momentan scheint es ganz gut zu funktionieren. Hab bis jetzt noch keine Blockierung mitbekommen, aber was nicht ist, kann ja noch werden

**EEBKiller** · 18.11.2005, 20:49

So, ich habe mitlerweile wieder das gleiche Problem trotz prefork.

Ich hab jetzt ein nettes Tool im Apache gefunden, namens Server Status.

Damit konnte ich schon etwas genaueres herausfinden:

Code:

Current Time: Friday, 18-Nov-2005 20:42:15 CET
Restart Time: Friday, 18-Nov-2005 19:12:49 CET
Parent Server Generation: 4
Server uptime: 1 hour 29 minutes 25 seconds
36 requests currently being processed, 24 idle workers

_R_KW__WCC__KW___K.WW.._K...__W_W_.K_KCKK._K__LLK_...KK_CW._....
L...W.....G.._.CL.......K..._..............W....................
........................................................._......
..............................C................................W

Scoreboard Key:
"_" Waiting for Connection, "S" Starting up, "R" Reading Request,
"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,
"C" Closing connection, "L" Logging, "G" Gracefully finishing,
"I" Idle cleanup of worker, "." Open slot with no current process

So sieht es normal aus. Kurz bevor der Server das Stocken anfängt, spawnt er massenweise fastcgi Prozesse und ganz normale Apache Childs. Und das bis in die Begrenzung rein (256 Childs, 100 FCGI-PHP) Ich habs mal geschafft, den server-status in der Zeit aufzurufen, und da waren fast alle Punkte (also IDLE) ein "R" ?!

Ich versteh das ganze nicht so wirklich ...

€DIT: Gerade wieder. Das sagt die Child-Tabelle:

Code:

CCRRWRRRRRRRRRRRRRRRRRRWRRWRRRRWWRRRRRCRRRRRRCLLRRRRWRRRRRRRRRRR 
LRRKRKRRCCGRKRWRLKWWCRRCRCC_RWWCCCCCCCCCCCCWCCCRCCCCCCCCCCCCCCCC 
CCCCCCRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR 
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR

€DIT2: Und das kurz vor einem Kollaps:

http://www.eeb-welt.de/Apache%20Status.html

Childs, die momentan einen Download senden, sind nicht betroffen, die tun weiter ihren Job. Aber der Rest steht auf Reading, weiss aber nicht, was er lesen soll und von welcher IP...

€DIT3:

Ich habe jetzt als Behelf den Timeout auf 15 sek. runter gesetzt. (Vorher 300, das erklärt auch die 5 Minuten Pause) Ich hoffe mal, dass es damit keinen Konflikt gibt

**thommyk** · 21.11.2005, 14:00

Ich würd mal den extended Status anstellen mit ExtendedStatus On im mod_status.conf

PHP-Code:


ExtendedStatus On

Dann kriegst Du auch die Skripte aufgelistet, die hängen.

Ausserdem ein kleines ShellSkript, dass Anzahl der apache-Prozesse checkt und bei zu vielen den Status in eine Datei schreibt.

PHP-Code:


#!/bin/sh

#Anzahl Prozesse fuer Statusbericht

MAXPROCESSES=140;  #hier anpassen

#Anzahl apache prozesse auslesen



NUMBERPROCESSES=$(ps aux | grep httpd2-prefork | wc -l)

URL=Deine_URL_zum_http_status

#bei mehr als $MAXPROCESSES apache status auslesen mit wget und in /$HTDOCS/httpd_check mit Datum speichern

if [ "$NUMBERPROCESSES" -gt "$MAXPROCESSES" ]; then

        DATETIME=$(date "+%Y%m%d%H%M%S")

        HTDOCS=/var/www/httpd_check  # Ordner in Deinem htdocs zur Ansicht

        INDEXFILE=$HTDOCS/index.html

        #Status auslesen und in Datei speichern mit Datum

        wget -q -O "$HTDOCS/httpd_check_$DATETIME.html" $URL



        #index der apachestatus-Dateien neu erstellen

        cd $HTDOCS

        echo "<html><head><title>httpd_check ($DATETIME)</title></head><body><h1>

Last Entry: $DATETIME ($NUMBERPROCESSES)</h1>

  " > $INDEXFILE

        ls -t httpd_check_* | while read i; do

                echo "<a href=$i>$i</a><br>" >> $INDEXFILE

        done

        echo "</body></html>" >> $INDEXFILE

fi

Dann kannst Du nach einem Ausfall die Statusdateien jeder Minute aufgelistet angucken unter 'URL_zu_Deinem_Server/httpcheck/'

Das ganze Skript muss dann als minutlicher Cron laufen.

**EEBKiller** · 21.11.2005, 16:53

Original geschrieben von thommyk
Ich würd mal den extended Status anstellen mit ExtendedStatus On im mod_status.conf

PHP-Code:

ExtendedStatus On

Dann kriegst Du auch die Skripte aufgelistet, die hängen.

Ausserdem ein kleines ShellSkript, dass Anzahl der apache-Prozesse checkt und bei zu vielen den Status in eine Datei schreibt.

Das hab ich doch schon alles gemacht. Und es hing an keinem Script, sondern fast alle Prozesse standen auf "R" - Pfad zum Script war nur ? und bei der IP vom User war auch nur ein ?. Irgendwas wollte irgendwie ne Connection zum Child aufbauen, der hats aber vermasselt und dann wurde der nächste Child aufgerufen und der brachte auch nix usw. usw.

Ende vom Lied: Es waren alle Childs aktiv, fast alle standen auf "R" nur bei jedem waren zwei Fragezeichen bei den IMHO wichtigsten Daten und nach 5 Minuten hat sich alles wieder gelegt und der Betrieb ging weiter als wäre nix gewesen.

Wie gesagt: Ich hab jetzt als Timeout 15 statt 300. Wir haben damit bis jetzt keine Probleme

**EEBKiller** · 10.05.2006, 22:52

So, mitlerweile haben wir wieder das gleiche Problem. Es werden innerhalb kürzester Zeit alle Childs mit "Reading" verstopft und erst nach den (angepassten) 15. sek gehts wieder weiter, da der Prozessmanager nicht so schnell neue Childs nachspawnen kann.

Ich bin echt langsam am durchdrehen. Ne Google-Suche bringt mehr Leute mit dem Problem aber keinerlei Lösungen ....

**goth** · 11.05.2006, 10:20

Vielleicht sollte man Dir ja helfen ... am im Moment finde ich's nur Klasse das immer die Leute mit dem kleinsten Schniepie und dem geringsten Wissen den Dicksten Rootserver brauchen ... und hoffentlich damit, aber so richtig, auf die Fressen fallen ... Viel Spaß!!

**EEBKiller** · 11.05.2006, 16:53

Wenn du nur provozieren willst anstatt hier konstruktiv zu helfen, dann sag lieber GARNICHTS - Danke !

**DarkRoot** · 11.05.2006, 17:32

Original geschrieben von goth
Vielleicht sollte man Dir ja helfen ... am im Moment finde ich's nur Klasse das immer die Leute mit dem kleinsten Schniepie und dem geringsten Wissen den Dicksten Rootserver brauchen ... und hoffentlich damit, aber so richtig, auf die Fressen fallen ... Viel Spaß!!

Was soll das denn?
Es gibt vielleicht auch Leute, die anderen kostenlose Dienste anbieten und dafür entsprechende Systemleistung brauchen.
Wir bieten Gigabyteweise Downloads an, alles kostenlos, wir geben dafür UNSER Geld aus, damit andere immer die neuesten Infos udn Downloads zu PC-Spielen haben und dann gibt es natürlich die Leute, die meinen, sie wären der root schlechthin, wissen alles, sind aber total asozial und helfen niemandem.
Danke für deine *hust* Hilfe.

**goth** · 11.05.2006, 18:13

Original geschrieben von DarkRoot
... und dann gibt es natürlich die Leute, die meinen, sie wären der root schlechthin, wissen alles, sind aber total asozial und helfen niemandem. ...

Pass auf du Troll .. bevor Du hier groß rumtönst wer wem und wieviel hilft informier' Dich erstmal ...

Ein Verständniss für diese Masterroots die hilflose Fragen in allen möglichen Foren posten, weil sie sich mit Ihren Superduper Root-Server ohne 'nen Funken Ahnung und Verstand baden gehen ... für die wirst Du von mir niemals auch nur ein bisschen Verständnis ernten ... verrecken solln sie ... wahrscheinlich wird derzeit auch über Mastertroll's Superduper Root-Server 99% den Spam's versand der mich heute genervt hat ... einfach weil er's nicht peilt ... man geht spielen ... oder habt Ihr eure Förmchen verloren ... eititeiti ... !

**EEBKiller** · 12.05.2006, 23:09

Du hast wahrscheinlich selber keine Ahnung, was das sein könnte.

Also nochmal: Lass diese dummen Provokationen. Jeder hat mal bei null angefangen, du auch, oh allwissender Alleswisser. Ausserdem geh ich nicht gerne in Foren, um nach Hilfe zu betteln, da ich erst alleine das Problem lösen will mit Hilfe von Google oder anderen Leuten, denen schonmal so etwas passiert ist.

Aber hier bin ich einfach am Ende mit meinem Wissen und deshalb frage ich hier nach, oh verzeih mir ...

Aber vermutlich ist dir das hier sowieso zu Primitiv, wie 95% der anderen User hier auch.

**sisslik** · 13.05.2006, 11:05

@goth ich hoffe wirklich das du eine Ausnahme in diesem Forum bist, ich finde dein Verhalten jedenfalls sehr kindisch, wie EEBKiller schon sagte, fängt jeder mal bei 0 an und du warst da sicherlich keine Ausnahme!

Jeder Mensch braucht hilfe und ich bin mir sicher das du auch schon öfters nach Hilfe gerufen hast, seis jetzt bei Server oder sonstigen Themen, würde sich keiner mehr Helfen, bräuchte man auch keine Foren, den die Foren sind dafür da, das man sich gegenseitig hilft!

So back to Topic, wir haben wieder das gleiche Problem, vielleicht hat ja doch jemand hier die Freundlichkeit den ein oder anderen Tipp zu geben:

Logfile wo es wieder Probleme gab: http://outpost.cnc-hq.de/Sisslik/apa...ver-status.htm

So müsste es eigentlich aussehen:
http://outpost.cnc-hq.de/Sisslik/apa...-status_OK.htm

Apache Status: http://www.cnchq.de/server-status

Server Version: Apache/2.0.55 (Debian) mod_fastcgi/mod_fastcgi-SNAP-0404142202 PHP/5.1.1 mod_ssl/2.0.55 OpenSSL/0.9.8a mod_perl/2.0.2 Perl/v5.8.7
Server Built: Jan 16 2006 10:06:18

Current Time: Saturday, 13-May-2006 10:20:35 CEST
Restart Time: Thursday, 11-May-2006 21:24:20 CEST
Parent Server Generation: 0
Server uptime: 1 day 12 hours 56 minutes 14 seconds
Total accesses: 2412285 - Total Traffic: 97.2 GB
CPU Usage: u10.66 s1.38 cu0 cs0 - .00905% CPU load
18.1 requests/sec - 0.7 MB/second - 42.2 kB/request
175 requests currently being processed, 75 idle workers

..............................W................... ..............
..................................W............... ..............
........W......................................... ..............
.................................................. ..............
_K_C_____KK____K____W_K______K_____K___K__W_K____C ..............
...................R.RR..WW.......WR.RK.K....C...R ..............
RRRRRRRRRRRRRRRRRRKRRRWRRRRRRRRRKWRRRRRKRRRRRRRR_R ..............
WC____R___C_C_RRK_KCRCRKRCCKCCCW__C___CCKRR__CCKKK ..............
...W.............................................. ..............
RRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRRR ..............
RRRRRRW_RKRKRRRRRRRR_____K_C_W__K_K_KW_K___C____KK ..............
.................................................. ..............
...............................................W.. ..............
.................................................. ..............
........................W......................... ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............
.................................................. ..............

Scoreboard Key:
"_" Waiting for Connection, "S" Starting up, "R" Reading Request,
"W" Sending Reply, "K" Keepalive (read), "D" DNS Lookup,
"C" Closing connection, "L" Logging, "G" Gracefully finishing,
"I" Idle cleanup of worker, "." Open slot with no current process

5-0 30940 0/2/3824 R 0.00 10 0 0.0 0.04 141.83 ? ? ..reading..
6-0 31490 0/0/3535 R 0.00 12 5 0.0 0.00 334.52 ? ? ..reading..
6-0 31490 0/0/3476 R 0.01 12 190 0.0 0.00 85.86 ? ? ..reading..
6-0 31490 0/1/3804 R 0.00 12 3 0.0 0.01 77.35 ? ? ..reading..
6-0 31490 0/0/3333 R 0.00 11 2 0.0 0.00 29.46 ? ? ..reading..
6-0 31490 0/1/3310 R 0.00 12 61 0.0 0.00 47.33 ? ? ..reading..
6-0 31490 0/1/3511 R 0.00 12 53 0.0 0.00 417.61 ? ? ..reading..
6-0 31490 0/0/3360 R 0.00 12 3 0.0 0.00 37.21 ? ? ..reading..
6-0 31490 0/1/3288 R 0.00 12 52 0.0 0.00 98.63 ? ? ..reading..
6-0 31490 0/1/3394 R 0.00 12 2 0.0 0.01 249.61 ? ? ..reading..
6-0 31490 0/1/3724 R 0.03 12 49 0.0 0.00 36.53 ? ? ..reading..
6-0 31490 0/1/3610 R 0.00 12 2 0.0 0.00 24.13 ? ? ..reading..
6-0 31490 0/1/3233 R 0.00 12 2 0.0 0.00 146.57 ? ? ..reading..
6-0 31490 0/1/3299 R 0.00 12 2 0.0 0.00 68.42 ? ? ..reading..

Danke für euere Mühe

Apache liefert zeitweise keine Seiten.