Tweet
Datenbanküberlastung
Hallo,
ich habe grössere DB-Tabellen (40-80MB je Tabelle). Der grösste Teil sind hier die Daten. Es gibt Probleme beim Import in die mysql-DB. Kann es auch sein, dass die Vielzahl der Befehle (Vielzahl der Datensätz) Probleme verursacht?
Parameter der php.ini habe ich angepasst: execution time höher gesetzt, post max time höher gesetzt.
Auch buffer size habe ich auf einen Wert von 64K gesetzt (habe es auch mit 64M getestet...). Die Maschine hat 256 MB RAM. Die DB sollte als Testumgebung laufen.
Allerdings tut sich nichts, d.h. die Datenbank ist überlastet und bringt auch keine Fehlermeldung. Bei kleineren Tabellen (2,6 MB) gibt es die Fehlermeldung "Kein SQL-Befehl!", was eigentlich nicht sein kann. Bis zu einer Grösse von 2 MB lassen sich problemlos Tabellen importieren.
Wo oder wie kann ich den Parameter bdb cache size ändern (falls es hieran liegen sollte)?
Meine Einstellungen sehen folgendermassen aus:
back log 50 50
basedir \wampp2\mysql\ \wampp2\mysql\
bdb cache size 8388572 8388572
bdb log buffer size 32768 32768
bdb home \wampp2\mysql\data\ \wampp2\mysql\data\
bdb max lock 10000 10000
bdb logdir
bdb shared data OFF OFF
bdb tmpdir \wampp2\tmp\ \wampp2\tmp\
bdb version Sleepycat Software: Berkeley DB 3.2.9a: (March 15, 2003) Sleepycat Software: Berkeley DB 3.2.9a: (March 15, 2003)
binlog cache size 32768 32768
bulk insert buffer size 8388608 8388608
character set latin1 latin1
character sets latin1 big5 czech euc_kr gb2312 gbk latin1_de sjis tis620 ujis dec8 dos german1 hp8 koi8_ru latin2 swe7 usa7 cp1251 danish hebrew win1251 estonia hungarian koi8_ukr win1251ukr greek win1250 croat cp1257 latin5 latin1 big5 czech euc_kr gb2312 gbk latin1_de sjis tis620 ujis dec8 dos german1 hp8 koi8_ru latin2 swe7 usa7 cp1251 danish hebrew win1251 estonia hungarian koi8_ukr win1251ukr greek win1250 croat cp1257 latin5
concurrent insert ON ON
connect timeout 5 5
convert character set
datadir \wampp2\mysql\data\ \wampp2\mysql\data\
delay key write ON ON
delayed insert limit 100 100
delayed insert timeout 300 300
delayed queue size 1000 1000
flush OFF OFF
flush time 1800 1800
ft boolean syntax + -><()~*:""&| + -><()~*:""&|
ft min word len 4 4
ft max word len 254 254
ft max word len for sort 20 20
ft stopword file (built-in) (built-in)
have bdb YES YES
have crypt NO NO
have innodb YES YES
have isam YES YES
have raid NO NO
have symlink YES YES
have openssl NO NO
have query cache YES YES
init file
innodb additional mem pool size 1048576 1048576
innodb buffer pool size 8388608 8388608
innodb data file path ibdata1:10M:autoextend ibdata1:10M:autoextend
innodb data home dir
innodb file io threads 4 4
innodb force recovery 0 0
innodb thread concurrency 8 8
innodb flush log at trx commit 0 0
innodb fast shutdown ON ON
innodb flush method
innodb lock wait timeout 50 50
innodb log arch dir .\ .\
innodb log archive OFF OFF
innodb log buffer size 1048576 1048576
innodb log file size 5242880 5242880
innodb log files in group 2 2
innodb log group home dir .\ .\
innodb mirrored log groups 1 1
interactive timeout 28800 28800
join buffer size 131072 131072
key buffer size 8388572 8388572
language \wampp2\mysql\share\english\ \wampp2\mysql\share\english\
large files support ON ON
local infile ON ON
log OFF OFF
log update OFF OFF
log bin OFF OFF
log slave updates OFF OFF
log slow queries OFF OFF
log warnings OFF OFF
long query time 10 10
low priority updates OFF OFF
lower case table names ON ON
max allowed packet 1048576 1048576
max binlog cache size 4294967295 4294967295
max binlog size 1073741824 1073741824
max connections 100 100
max connect errors 10 10
max delayed threads 20 20
max heap table size 16777216 16777216
max join size 4294967295 4294967295
max sort length 1024 1024
max user connections 0 0
max tmp tables 32 32
max write lock count 4294967295 4294967295
myisam max extra sort file size 268435456 268435456
myisam max sort file size 2147483647 2147483647
myisam recover options OFF OFF
myisam sort buffer size 8388608 8388608
net buffer length 16384 16384
net read timeout 30 30
net retry count 10 10
net write timeout 60 60
new OFF OFF
open files limit 0 0
pid file \wampp2\mysql\data\obelix.pid \wampp2\mysql\data\obelix.pid
log error .\obelix.err .\obelix.err
port 3306 3306
protocol version 10 10
read buffer size 131072 131072
read rnd buffer size 262144 262144
rpl recovery rank 0 0
query cache limit 1048576 1048576
query cache size 0 0
query cache type ON ON
server id 0 0
slave net timeout 3600 3600
skip external locking ON ON
skip networking OFF OFF
skip show database OFF OFF
slow launch time 2 2
sort buffer size 2097116 2097116
sql mode 0 0
table cache 64 64
table type MYISAM MYISAM
thread cache size 0 0
thread stack 196608 196608
tx isolation REPEATABLE-READ REPEATABLE-READ
timezone Westeuropäische Normalzeit Westeuropäische Normalzeit
tmp table size 33554432 33554432
tmpdir \wampp2\tmp\ \wampp2\tmp\
version 4.0.12-max-debug 4.0.12-max-debug
wait timeout 28800 28800
Ich bin für jeden Tip, der den Import grösserer Datenmengen verbessert, dankbar.
Gruß
ich habe grössere DB-Tabellen (40-80MB je Tabelle). Der grösste Teil sind hier die Daten. Es gibt Probleme beim Import in die mysql-DB. Kann es auch sein, dass die Vielzahl der Befehle (Vielzahl der Datensätz) Probleme verursacht?
Parameter der php.ini habe ich angepasst: execution time höher gesetzt, post max time höher gesetzt.
Auch buffer size habe ich auf einen Wert von 64K gesetzt (habe es auch mit 64M getestet...). Die Maschine hat 256 MB RAM. Die DB sollte als Testumgebung laufen.
Allerdings tut sich nichts, d.h. die Datenbank ist überlastet und bringt auch keine Fehlermeldung. Bei kleineren Tabellen (2,6 MB) gibt es die Fehlermeldung "Kein SQL-Befehl!", was eigentlich nicht sein kann. Bis zu einer Grösse von 2 MB lassen sich problemlos Tabellen importieren.
Wo oder wie kann ich den Parameter bdb cache size ändern (falls es hieran liegen sollte)?
Meine Einstellungen sehen folgendermassen aus:
back log 50 50
basedir \wampp2\mysql\ \wampp2\mysql\
bdb cache size 8388572 8388572
bdb log buffer size 32768 32768
bdb home \wampp2\mysql\data\ \wampp2\mysql\data\
bdb max lock 10000 10000
bdb logdir
bdb shared data OFF OFF
bdb tmpdir \wampp2\tmp\ \wampp2\tmp\
bdb version Sleepycat Software: Berkeley DB 3.2.9a: (March 15, 2003) Sleepycat Software: Berkeley DB 3.2.9a: (March 15, 2003)
binlog cache size 32768 32768
bulk insert buffer size 8388608 8388608
character set latin1 latin1
character sets latin1 big5 czech euc_kr gb2312 gbk latin1_de sjis tis620 ujis dec8 dos german1 hp8 koi8_ru latin2 swe7 usa7 cp1251 danish hebrew win1251 estonia hungarian koi8_ukr win1251ukr greek win1250 croat cp1257 latin5 latin1 big5 czech euc_kr gb2312 gbk latin1_de sjis tis620 ujis dec8 dos german1 hp8 koi8_ru latin2 swe7 usa7 cp1251 danish hebrew win1251 estonia hungarian koi8_ukr win1251ukr greek win1250 croat cp1257 latin5
concurrent insert ON ON
connect timeout 5 5
convert character set
datadir \wampp2\mysql\data\ \wampp2\mysql\data\
delay key write ON ON
delayed insert limit 100 100
delayed insert timeout 300 300
delayed queue size 1000 1000
flush OFF OFF
flush time 1800 1800
ft boolean syntax + -><()~*:""&| + -><()~*:""&|
ft min word len 4 4
ft max word len 254 254
ft max word len for sort 20 20
ft stopword file (built-in) (built-in)
have bdb YES YES
have crypt NO NO
have innodb YES YES
have isam YES YES
have raid NO NO
have symlink YES YES
have openssl NO NO
have query cache YES YES
init file
innodb additional mem pool size 1048576 1048576
innodb buffer pool size 8388608 8388608
innodb data file path ibdata1:10M:autoextend ibdata1:10M:autoextend
innodb data home dir
innodb file io threads 4 4
innodb force recovery 0 0
innodb thread concurrency 8 8
innodb flush log at trx commit 0 0
innodb fast shutdown ON ON
innodb flush method
innodb lock wait timeout 50 50
innodb log arch dir .\ .\
innodb log archive OFF OFF
innodb log buffer size 1048576 1048576
innodb log file size 5242880 5242880
innodb log files in group 2 2
innodb log group home dir .\ .\
innodb mirrored log groups 1 1
interactive timeout 28800 28800
join buffer size 131072 131072
key buffer size 8388572 8388572
language \wampp2\mysql\share\english\ \wampp2\mysql\share\english\
large files support ON ON
local infile ON ON
log OFF OFF
log update OFF OFF
log bin OFF OFF
log slave updates OFF OFF
log slow queries OFF OFF
log warnings OFF OFF
long query time 10 10
low priority updates OFF OFF
lower case table names ON ON
max allowed packet 1048576 1048576
max binlog cache size 4294967295 4294967295
max binlog size 1073741824 1073741824
max connections 100 100
max connect errors 10 10
max delayed threads 20 20
max heap table size 16777216 16777216
max join size 4294967295 4294967295
max sort length 1024 1024
max user connections 0 0
max tmp tables 32 32
max write lock count 4294967295 4294967295
myisam max extra sort file size 268435456 268435456
myisam max sort file size 2147483647 2147483647
myisam recover options OFF OFF
myisam sort buffer size 8388608 8388608
net buffer length 16384 16384
net read timeout 30 30
net retry count 10 10
net write timeout 60 60
new OFF OFF
open files limit 0 0
pid file \wampp2\mysql\data\obelix.pid \wampp2\mysql\data\obelix.pid
log error .\obelix.err .\obelix.err
port 3306 3306
protocol version 10 10
read buffer size 131072 131072
read rnd buffer size 262144 262144
rpl recovery rank 0 0
query cache limit 1048576 1048576
query cache size 0 0
query cache type ON ON
server id 0 0
slave net timeout 3600 3600
skip external locking ON ON
skip networking OFF OFF
skip show database OFF OFF
slow launch time 2 2
sort buffer size 2097116 2097116
sql mode 0 0
table cache 64 64
table type MYISAM MYISAM
thread cache size 0 0
thread stack 196608 196608
tx isolation REPEATABLE-READ REPEATABLE-READ
timezone Westeuropäische Normalzeit Westeuropäische Normalzeit
tmp table size 33554432 33554432
tmpdir \wampp2\tmp\ \wampp2\tmp\
version 4.0.12-max-debug 4.0.12-max-debug
wait timeout 28800 28800
Ich bin für jeden Tip, der den Import grösserer Datenmengen verbessert, dankbar.
Gruß
Kommentar