Wettbewerb: MySQL<->FTP/HTTP<->MySQL

**Blaster** · 10.12.2001, 13:22

Philosophischer Monolog in einen Diskussionsforum - Paradox!
Erst einmal verwundet es mich, dass ich Beiträge nur per Email bekomme, statt Sie hier zu lesen.
Ich habe wenigesten ein Einzeiler erwartet a´la: Schau mal unter ..
Die erste Frage, die sich die meisten stellen werden, ist: Was habe ich davon? Ich verspreche, dass ich nicht vorhabe hier irgend jemanden auszunutzen. Ich kann nur in einen Disskussionsforum keinen großkotzigen Andeutungen machen und garantiere deshalb nur die drei Blatt.
Das Geld überweise ich auch sofort im Voraus zu Treuhänden, wenn gewünscht. Meine Motivation dabei ist es Material zu sammeln, Kontakte zu knüpfen und meinen Horizont zu erweitern.
Und wenn alle dabei etwas haben - um so besser.

Meine Vision:
=============================================
Du bekommst per Email oder auf Diskette einen Schlüssel, mit den man sich auf einer irgendwo im LAN, hier Proxy und Mauer, instalierten MySQL-DBMS von einem Webserver eine MySQl-DB clonen kannst, ohne Name der DB, Anzahl und Namen der Tabellen, sowie Anzahl und Namen der Felder etc. zu kennen. Über die verschlüsselte Verbindung soll auch umgekehrt Daten wieder auf Webserver gelangen.
Viele sagen sich:
Klar - Auslagern als Meta-Datei, ebenso das Auflutschen, Verschlüssel mit SSL, Identfikation über Cookies - easy! Und ich in der Tat die Anfrage erhalten, wo ich da Probeme sehe, dass ich Lösungen mit Geld prämiere.
Stellen wir uns mal vor, es kommt noch ein zweiter Client hinzu und denn der Datenabgleich erfolgt nur über Initialisierung der Clients.
Die Initialisierung müßte idealerweise automatisiert über Application oder andere Workstation sein. Wie ließe sich das System abgleichen?! Oder wir haben zwei Dienstanbieter, mit verteilten Anwendungen. Wie kann man als Client switchen?! Das ginge schon in den Bereich clustering.
Die Profies unter euch kennen vielleicht den Einsatz von Oracle 9i mit XML oder MS-SQL-Server, ASP und XML. Für solche Zwecke suche ich eine etwas kostengünstigere und naja, für "Standard"-Admin, verwaltbare Lösung. Bei solchen Ansatzen spielt das Thema Hochverfügbarkeit und Redundanz eine Rolle. Außerdem haben wir die Daten im LAN statt im WAN. Ideal für weniger sensibele Daten wie Lagerbestände, Preislisten und Produktbeschreibungen.

Auch konstruktive Kritik ist bei mir erwünscht. Im jedem Fall danke ich für eure Ideen!
_________________________
"Manchmal kann ein Mensch durch eine neue Sichtweise mehr gewinnen,
als durch 1000 weitere IQ-Punkte!"

[Editiert von Blaster am 11-12-2001 um 20:55]

**Sky** · 10.12.2001, 14:54

Da ich mir nun nicht sicher bin, ob ich das richtig verstanden habe, versuche ich das ganze jetzt noch einmal in eigene Worte zu fassen.

Ausgangslage ist ein Netzwerk mit einer variablen Anzahl von Servern und Clients, die Daten eines MySQL-DBMS austauschen möchten.
Befugt zu diesem Austausch sollen nur bestimmte Clients sein, die einen Zugangsschlüssel erhalten. Das Interface selbst ist webbasiert, das System soll mit Verschlüsselung arbeiten. Weiterhin muss ein "Master"-Script als Koordinationspunkt existieren, damit keine Interferenzen auftreten.

Meine Fragen: Wie stellst du dir diesen Austausch vor? Warum ist die DB vorher zu clonen (man könnte ja einfach die Daten des Server verändern)?

**Blaster** · 10.12.2001, 15:16

Hi Sky,

Der Client besitzt nach der Installation 0 Daten. Beispiel aus RL:
Transportgesellschat 22 Filialen a 110 Mitarbeiter arbeitet (1999) zentral an Oracle, um sämtlichen Trafik zu managen. In Spitzenzeiten dauerte jeder Quest 5 min!!
Gemäß meiner "Vision" wird aktueller Datenbestand auf LAN-DB geclont, dannach wird, wie du bereits sagtes, patial (definiert wie auch immer) Datenabgleich vorgenomen, vollständiges Clonen natürlich nicht mehr effektiv. D.h.: "Serialisierungssequenz" ist abhängig von erfolgten Schreibänderungen. Man muß ausbalancieren Serialisierungssequenz gegen Trafik um optimalen Laufzeitbetrachung und Transfervolumen zu erhalten.

**Sky** · 10.12.2001, 15:21

Gut, dann läuft ja eigentlich alles nur auf ein Script hinaus, welches bei Clientanfragen den Schlüssel überprüft, die gesamte Verbindung verschlüsselt und die DB-Queries in eine Warteschlange stellt, die nach Eintreffen der Anfragen geordnet ist...

**Blaster** · 10.12.2001, 15:34

Erst-Instanzlich schon. Mir ist jetzt im Moment aber noch nicht klar welche DB-Query du in den Orbit schicken willst.
Server, Client oder beide?! Wie willst du die Warteschlange (engl. query) temporär aktiv halten?

**Sky** · 10.12.2001, 18:03

Mit Warteschlange meinte ich 'queue'.
Da du geschrieben hast, dass du das ganze bisher per phpMyAdmin machst, nehme ich an, dass es prinzipiell nur um Queries geht.

Vereinfachtes Modell:

PHP-Code:


Client ---[Verschlüsselung]---> (PHP-)Script ---[lokal]---> (mySQL)-Server

Wobei das Script die eingehenden Queries nach Eingangszeit ordnet und in exakt dieser Reihenfolge an den Server schickt. Wie bereits dargestellt sollten Script und Server dabei auf dem gleichen Rechner sein, damit man sich hier die Verschlüsselung sparen kann.

Beispiel: Client möchte eine UPDATE-Query ausführen. Dazu startet der Benutzer das Script im Browser, gibt die Query und seinen Schlüssel ein und schickt sie ab. Die Query geht beim Scripthandler ein, der sie mit einer Nummer und/oder der aktuellen Zeit (am besten mit Mikrosekunden) versieht. Ist die Query als nächste in der Queue an der Reihe, wird sie gesendet.

[Editiert von Sky am 10-12-2001 um 18:06]

**Blaster** · 11.12.2001, 13:56

Also die Verschlüsselung können wir hier wohl als erledigt betrachten. Auch Sky´s Idee, mit PHP die Query mit Zeitindex zu versehen und dann den Client(C)-MySQL über Handle-Nr an Server(S)-DB zu versenden, gefiel mir. Um aber weiter zu kommen, könnte man vielleicht fünf Fallstudien betrachten. Ich habe mir erlaubt durch Fragen ein paar Schwierigkeiten aufzuzeigen, die ich dabei sehe:

Lösungen mit PHP und HTTP
==========================================================
Fall A: Scriptspr. PHP , 1 C-MySQl-DB, 1 S-MySQL-DB, 1 Lan-User
1) Wie clont(spiegelt) man die Datenbank bei der Installation, ohne dessen Form zu kennen? Wie sehen die Scripte aus?
S-MySQL-->S-PHP-->Web-->C-PHP-->C-MySQL
Hier wären CODE-Fragmente nicht schlecht.

Fall B: Scriptspr. PHP , 1 C-MySQl-DB, 1 S-MySQL-DB, X LAN -User
2) Wenn jeder Änderung der C-MySQL-DB über PHP-Script erfolgt, um die Änderungsquery zu erfassen, schränkt das die Einsatzfähigkeit der C-DB ein. Man stelle sich z.B. eine Access-DB vor, die an MySQl verknüpft ist. Wie erfasst man Änderung der C-MySQL-DB ohne das ein PHP-Script zwischen geschaltet ist, um daraus Queries zu bilden?
3) Der Zugangsschlüssel wird bei mehreren User in C-DB gespeichert. Aber wie initialisiert man den Abgleich übers Web?

Fall C: Scriptspr. PHP, 2 C-MySQL-DB, 1 S-MySQL-DB, x Lan-User
4) Wenn Client I einen Abgleich mit S-DB vorgenommen hat, wie und wann erfährt Client II davon?
5) Obwohl MySQL multithreading-fähig ist,haben wir bei den Datenabgleich zweier Clients ein Web-Delay. Wie fängt das S-PHP-Script opponierende Schreib/Lesezugriffe auf?
Auch hier wäre ein Code-Fragment toll.

Fall D: Scriptspr. PHP, 2 C-MySQl-DB, 2 S-MySQl-DB, X Lan-User
6)Wenn bei Server I Tabellenmenge A die auch redundant zur Server II Tabellenmenge B sein kann, einen Datenabgleich vornimmt, muß der Client switchen. Wie synchonisiert man den am besten den Datenabgleich?
7)Wäre ein Datenabgleich zwischen den Servern sinnvoll? Wie initialisiert man ihn? Und vor allem wie managed man ihn?
Ein Code-Fragment wäre klasse.

Fall E: Scriptspr. PHP?!, n C-MySQL-DB, m S-MySQl-DB, x LAN-User - Jetzt wird es spannend! Die virtuelle BackBone!
8)Bei vielen Clients spielt vor allem die Synchonisation der Quests eine Rolle. Greifen zu viele Client auf ein und den selben Server zu -> Crash! Fängt man die weitere Kasade dann auch nicht ab - MultiCrash!! Man kann es vergleichen mit der Staubildung auf der Autobahn. Halten die Quest den Sicherheitsabstand nicht ein, dann kommt es bei einen unerwarten Bremsmanoverer (großen Datenabgleichen) zum Stopp- und Go-Verkehr und schließlich zu Stillstand - Bumm!
Wie löst man am besten dieses Problem? Wie fragte schon JoelH - "Gib es die Weltformel?!"

Wie bereits gesagt Links, Artikel, Code-Frakmente alles ist hier willkommen. Ihr habt ein völlig neuen Ansatz - her damit.

!!!!Es gibt eventuell Geld für gute Tipps!!!!

[Editiert von Blaster am 12-12-2001 um 12:12]

**Sky** · 11.12.2001, 19:53

Hm, ne ganze Menge... Hab schon einige Ansätze und auch Codekonzepte, aber die poste ich erst morgen, weil ich heute nen 12 Stunden Tag hinter mir habe...

**Sky** · 12.12.2001, 19:30

So, ich hab mich nun etwas eingehender mit deinen Problemstellungen beschäftigt und ein paar Lösungsansätze aufgestellt. Mit Code-Fragmenten ist es hier allerdings nicht getan, das geht schon über den Einsatzbereich des Wortes 'Fragment' hinaus

Wenn, dann würde ich das gesamte Controllerscript sowieso in einem Aufwasch machen, Flickwerk ist nicht so toll und auch schwieriger zu planen und zu koordinieren.

Fall A: Scriptspr. PHP , 1 C-MySQl-DB, 1 S-MySQL-DB, 1 Lan-User
1) Wie clont(spiegelt) man die Datenbank bei der Installation, ohne dessen Form zu kennen? Wie sehen die Scripte aus?
S-MySQL-->S-PHP-->Web-->C-PHP-->C-MySQL
Das Modell (wenn man auf meinen bisherigen Ausführungen aufbaut) ist anders:
Holen und Speichern: C-Browser-->S-PHP(=Web)-->S-MySQL
Auf Client-DB übertragen: C-Browser-->S-PHP(Web)-->C-MySQL
Die Form kann man recht einfach z.B. über die SHOW-Funktionen herausfinden (vgl. PhpMyAdmin Dumpfunktion!).

Fall B: Scriptspr. PHP , 1 C-MySQl-DB, 1 S-MySQL-DB, X LAN -User
2) Wenn jeder Änderung der C-MySQL-DB über PHP-Script erfolgt, um die Änderungsquery zu erfassen, schränkt das die Einsatzfähigkeit der C-DB ein. Man stelle sich z.B. eine Access-DB vor, die an MySQl verknüpft ist. Wie erfasst man Änderung der C-MySQL-DB ohne das ein PHP-Script zwischen geschaltet ist, um daraus Queries zu bilden?
Das hab ich nicht ganz verstanden...

3) Der Zugangsschlüssel wird bei mehreren User in C-DB gespeichert. Aber wie initialisiert man den Abgleich übers Web?
Das auch nicht...

Fall C: Scriptspr. PHP, 2 C-MySQL-DB, 1 S-MySQL-DB, x Lan-User
4) Wenn Client I einen Abgleich mit S-DB vorgenommen hat, wie und wann erfährt Client II davon?
Das kann man in einer Log-Table oder einer Text-Datei speichern, und dem User dann auf entsprechende Anfrage (Link, Button mit Popup) oder automatisch (kleines Frame mit regelmäßigem Refresh, das über den Status informiert) mitteilen.

5) Obwohl MySQL multithreading-fähig ist,haben wir bei den Datenabgleich zweier Clients ein Web-Delay. Wie fängt das S-PHP-Script opponierende Schreib/Lesezugriffe auf?
Auch hier wäre ein Code-Fragment toll.
mySQL handelt meines Wissens nach dem FIFO-Prinzip, also kann man diese Sache dem DB-Server überlassen - das Script muss die Queries nur in der richtigen Reihenfolge absenden (eben die bereits erwähnte Queue). Aber ich werde mich noch nach API-/SQL-BuiltIn-Funktionen umsehen, mit denen man das noch genauer kontrollieren kann (abgesehen von ping, das hier u.U. auch ein grober Anhaltspunkt sein kann).

Fall D: Scriptspr. PHP, 2 C-MySQl-DB, 2 S-MySQl-DB, X Lan-User
6)Wenn bei Server I Tabellenmenge A die auch redundant zur Server II Tabellenmenge B sein kann, einen Datenabgleich vornimmt, muß der Client switchen. Wie synchonisiert man den am besten den Datenabgleich?
Ich denke das geht nur mit einem extra-Timestamp-Feld in jeder Table, in das das Datum der Änderung eingetragen wurde - schließlich hat man sonst überhaupt keinen Anhaltspunkt, wann eine Row das letzte Mal geändert wurde.

7)Wäre ein Datenabgleich zwischen den Servern sinnvoll? Wie initialisiert man ihn? Und vor allem wie managed man ihn?
Ein Code-Fragment wäre klasse.
Das wäre sicherlich sinnvoll, wenn du redundant arbeiten möchtest. Ein direktes S-DB<-->S-DB ist hier allerdings keine Option, das muss wieder mit einem Controller gelöst werden.

Fall E: Scriptspr. PHP?!, n C-MySQL-DB, m S-MySQl-DB, x LAN-User - Jetzt wird es spannend! Die virtuelle BackBone!
8)Bei vielen Clients spielt vor allem die Synchonisation der Quests eine Rolle. Greifen zu viele Client auf ein und den selben Server zu -> Crash! [...]
Hierfür müsste man dann eben Begrenzungen in Bezug auf die Anzahl der Clients (auch hier vielleicht Queues!) festlegen bzw. wie du bereits sagtest einen fixen (zeitlichen) Sicherheitsabstand bei Queries, der aber auch flexibel nach übertragener Datenmenge berechnet werden kann.

Regards,

Sky

[Editiert von Sky am 12-12-2001 um 19:34]

**Blaster** · 13.12.2001, 13:27

@Sky:

Erläuterungen:
Fall B,Problemstellung 2:
--------------------------------------------------
z.B. Überlegung
Änderung: User-->Appl-->z.B.Access-->C-MySql
Wie bildet man Änderungen:
1) Query_id1, Timestamp1, tabelle1, feldname1
2) Query_id2, Timestamp2, tabelle2, feldname2
ohne das zwischen Access und C-MySQL PHP-Script Daten-Transfer erledigt. Sonst müßte ich zu Beispiel Access an C-PHP anbinden - schränkt Möglichkeiten ein und stellt Ansprüche. Wie werden die Änderungen erfasst, oder gespeichert, um bei
---------------------------------------------------
Problemstellung 3:
Änderungen, wie vorgeschlagen, mit C-PHP (du meinst S_PHP)auf S-MySQl zu versenden. Du müsstest sonst,wie in Fall A, ein User haben, der Browser aufruft, um ständig Daten abgleicht.
Autoabgleich, vielleicht in konstanten Zeitintervall, wäre optimal, wenn Fall E betrachtet wird.

Ziel: C-MySql + S-MySQL in const Intervall immer Uptodate. Unabhäng, wer, wann, was über LAN daran ändert und was wir noch daran hängen.

[Editiert von Blaster am 13-12-2001 um 13:39]

**Sky** · 13.12.2001, 13:37

Hm, okay nun verstehe ich es, glaube ich... Ich kenne mich nicht sonderlich gut mit Access aus, aber ich denke, dass zum Datenaustausch zwischen mySQL und Access auf jeden Fall ein Handler zwischengeschaltet werden muss - wie hier eben ein PHP-Script.

**Blaster** · 13.12.2001, 13:48

Das ganze LAN ist uninterssant. Access ist nur Beispiel.Ich müßte nur wissen, wo man (du) wie welche Daten brauch(s)t. Um angestrebte Lösung umsetzen zu können.

Deine anderen Vorschläge hören sich ganz interessant an, jetzt brauche ich ein bischen Zeit, um weiters anzukucken.

Thx 4 inspiration!
_________________________________________________________

Der Nachteil bei jeden guten Dinner ist die Verdauung..."

**Blaster** · 19.12.2001, 13:46

So, ich habe mich ein wenig schlau gemacht:

Fall B - zu 2:
Die simpelste Methode, die Änderungen der C-MySQl-DB aus dem LAN zu erfassen, ist die Einrichtung und Bearbeitung einer Änderungstabelle in C-MySQL-DB (@Sky zu 4) über die angebunden Programmarchitektur. Um bei unseren Access-Beispiel zu bleiben, wäre ein VBA-Modul leicht einzurichten, die über äquivalentes "onChange-Event" den Eintrag initiert.Leicht ist auch eine Verarbeitung z.B. über WSH (windows scripting host) mit dem man über MS-win Ebene Einträge vornehmen. Über die MySQl-COM-API ist auch eine rudimentäre Steuerung der C-MySQL-DB möglich, aber das würde hier zu weit führen... Unter von UNIX abgeleitet Systemen, wie z.B. Linux, bietet sich eine Initalisierung über Shell-Ebene an, da scheint es endlose Möglichkeiten zu geben...
Die Anbindungen von kommerzielle Applicationen, wie z.B. SAP/R3, scheinen DBMS wie MySQL nicht problemlos anzubinden zu sein. (Klar: Freeware<>Profit!)
Die zusätzliche DB-Tabelle müßte den Form THREAD_ID, TIME_STAMP, DB_NAME, TAB_NAME, FIELDNAME, CHANGE_MOD(Upd-Ins-Del) haben. Und das Transaktionsscript mit Opertoren wie 'all' oder [von-bis] arbeiten können.

Fall B - zu 3:
Die Initialisierung scheint leichter als ich dachte - Z.B.:
- Mit der win32API mit C++: WinExec("íexplore.exe http://www.xxx.de", SW_SHOW); könnte man den Browser mit gewünschten URL einfach starten und den C-DB-Rechner über REMOTE-ACCESSS ansteuern.
- Oder wieder auf OS-Ebene mit WSH,MTS,DTC... unter Ms-win.
- Oder SSH unter UNIX.
- Oder einfach mit OS-Scholar

Fall D(6,7),Fall C(4) und Fall E (8):
Ich bin zu der Überzeugung gelangt, dass es eine gute Lösung sein könnte, wenn man eine globale Hierachie-Zuweisung der C-Db´s, die auf allen S-DB gespeichert würde, einrichtet - vergleichbar einer Benutzerverwaltung im OS.
Dies hätte mehrere Vorteile:
- C (high) kann über S-I C(low) verständigen, in einer anderen Fequenz oder Sequenz(S-II,S-III dann erst S-I) S_DB´s anzusteuern.
- Oppunierende R/W-Zugriffe werden über die Client-Priorität abgewickelt.
- Mit einen TimeStamp könnte ein C(high),z.B. QM, Eintragungen löschen, wenn C(Low), z.B. Produkt, Mist gebaut hat.
- Unter den selben Gesichtspunkten könnte man auch redudanten Datenabgleich der Server vornehmen.

Fall C(4):
Die Idee mit den Refresh-Frame hat mir besonders gefallen.
So könnte man unternehmensspezifischen Daten, wie Verkauf, Produktionsfortschritt und Transfer, leicht auswertbar fürs LAN erfassen.

Fall A(1):
Trotz all der großartigen Aussichten, habe ich ein Problem noch nicht "verstanden". Wie bekommen wir den Mist in den Gaul?:

Auf Client-DB übertragen: C-Browser-->S-PHP(Web)-->C-MySQL
Die Form kann man recht einfach z.B. über die SHOW-Funktionen herausfinden (vgl. PhpMyAdmin Dumpfunktion!).

Ich fürchte für diese Technik habe ich wohl den Max-DAU unterschritten.
@Sky: Könntest mir das nocheinmal erklären?!

-----------------------------------------------------------
Diese B2B-Gesamtlösung hat folgende Vorteile:
1) Sie ist providerfreundlich.
2) Billig.
3) Leicht umsetzbar.
4) Beliebig erweiterbar.
5) Arbeitet nicht mit XML (was etwa heute Standard ist).
6) Leicht zu administrieren.
Also, stellt man sich die begründete Frage:

WO IST DER HACKEN ???

---------------------------------------------------------

[Editiert von Blaster am 19-12-2001 um 14:43]

**Sky** · 19.12.2001, 14:24

Original geschrieben von Blaster
@Sky: Könntest mir das nocheinmal erklären?!

Grobe Skizze:

SHOW DATABASES
- SHOW TABLES

Dann mit SHOW CREATE TABLE für jede Table die Struktur übertragen, und als letztes mit SHOW COLUMNS und SELECT für jede Table die Daten auslesen und mit INSERT in die Ziel-DB eintragen.

Wettbewerb: MySQL<->FTP/HTTP<->MySQL