Thread: MYSQL: phpmyadmin - max records
-
20-08-2007, 01:11 #1Member
- Registered
- 23/05/04
- Location
- Madrid
- Posts
- 140
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
MYSQL: phpmyadmin - max records
Ik heb een vraagje over MYSQL databases.
Wat is het maximum aantal records dat je kan invoegen?
Of is dit niet gelimiteerd?
Ik vraag dit omdat ik een lijst gekregen heb van 2.000.000 artikelen om in een database to steken.
Kan dit allemaal in 1 tabel?
Indien dit niet kan, hoe los ik dit best op?
Thx..no votes
-
-
20-08-2007, 01:22 #2Member
- Registered
- 20/12/02
- Location
- Antwerpen
- Posts
- 1,319
- iTrader
- 8 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/1
dat zou geen probleem mogen zijn
no votes
-
20-08-2007, 02:10 #3
Een lijst van 2 miljoen zou ik nu niet direct via phpMyAdmin doen, alhoewel ge daar in principe geen probleem mee zou mogen ondervinden. Ik zou het alleszins via de command line doen.
$0.02no votes
-
20-08-2007, 14:04 #4Member
- Registered
- 12/10/02
- Location
- mars
- Posts
- 14,319
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
cmd-line lijkt me ook de iets betere polossing.
maar bij zo gigantische hoeveelheden raad ik wel aan eens te kijken naar welke storage engine je gebruikt. Ik raad dan toch sterk innodb aan ipv het gebruikelijke myisam (bij innodb gaat wel je insert-tijd wrsch iets langer zijn, read-tijd zal normaal wel stuk optimaler zijn als je je PK's goed instelt).no votes
-
20-08-2007, 19:30 #5Member
- Registered
- 23/05/04
- Location
- Madrid
- Posts
- 140
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
Hoe moet je precies te werk gaan om het via de command line te doen?
Alvast bedankt voor de hulpno votes
-
20-08-2007, 19:49 #6Member
- Registered
- 12/10/02
- Location
- mars
- Posts
- 14,319
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
normaal gaat inserten ook via mysqldump.exe (te vinden in je bin dir).
no votes
-
20-08-2007, 23:50 #7Member
- Registered
- 20/05/07
- Location
- Pays des Collines
- Posts
- 3,643
- iTrader
- 5 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/9
Het zou maar triestig en not-done zijn moest ge zo'n db op ne windowsbak draaien, om dan nog maar te zwijgen over productie omgevingen.
De vraag is eigenlijk in welke vorm de data aangeleverd wordt? XML? CSV? ...?no votes
-
20-08-2007, 23:54 #8Member
- Registered
- 12/10/02
- Location
- mars
- Posts
- 14,319
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
jah, k, effe nie aan gedacht toen ik ging opzoeken (zat zelf op windowsbak
), excuus.
XML wordt bij mijn weten niet ondersteund, hoewel ge daar mssch ook tools vo kunt vinde. CSV's wel iirc. Snu wel een tijke geleden da tik dat heb gedaan.no votes
-
21-08-2007, 00:13 #9Member
- Registered
- 20/05/07
- Location
- Pays des Collines
- Posts
- 3,643
- iTrader
- 5 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/9
Zelf import scriptje schrijven he. Perl of desnoods php. Meeste leveranciers leveren hun data aan in XML en das ook nog gemakkelijk te behandelen, alleen zien da ge performante code schrijft. Wij krijgen opt werk zo XML's van 40mb... per product. En dan steekt 4GB ram snel vol

Realtime producten updaten wordt dan ook heel simpel. Wij zitten met 10 000, welliswaar zeer uitgebreidde, producten om onze website. Ben curieus van wa aard 2 000 000 producten zijn en hoe die onderhouden gaan worden?
no votes
-
21-08-2007, 22:14 #10Member
- Registered
- 23/05/04
- Location
- Madrid
- Posts
- 140
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
Wel, dat vraag ik me ook af....
Voeg bijvoorbeeld eens aan ieder product een afbeeldingske toe...
Nu, ik heb enkel ervaring met phpmyadmin...
Wat zou de beste manier zijn? Ik kan dan wat opzoekingswerk doen..
Alvast bedankt!no votes
-
22-08-2007, 00:02 #11Member
- Registered
- 20/05/07
- Location
- Pays des Collines
- Posts
- 3,643
- iTrader
- 5 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/9
Nogmaals: in welke vorm krijgt ge de data aangeleverd?
Ge kunt niet alles zomaar importeren he.
Trouwens, phpmyadmin is een php app die (liefst) op ne apache draait. Maw heeft ook een beperking qua max file size dat ge kunt uploaden. En stel dat ge uw producten krijgt in ne schone csv met 1 prijs en een productcode van 5 cijfers en ne titel van max 255 chars. Dan nog gaat da misschien honderden mb's zijn. Phpmyadmin gaat u daar niet mee kunnen helpen vrees is, tenzij ge manueel uw producten gaat opsplitsen per 20 000 of zo. En dan wil ik ook nog wel es zien of ge da bestand met 2 000 000 records openkrijgt op uwe pc met excel of notepad of whatever
Maar dat is maar een gissing aangezien ge maar schaars zijt met informatie
no votes
-
22-08-2007, 01:16 #12Member
- Registered
- 21/07/03
- Location
- Alken / hasselt
- Posts
- 3,725
- iTrader
- 145 (97%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/1
hangt van een aantal factoren af,
zoals je zegt;
moet elke waarde in de db ook een foto of een link naar een foto etc bevatten?
hoe wordt u data aangeleverd?
wat voor een server gebruik je en kan je ssh etc inloggen voor via de command line te werken?
hoe groot zijn de verschillende velden per rij?no votes
-
22-08-2007, 01:36 #13Approved 9liver
- Registered
- 18/01/04
- Location
- Melle
- Posts
- 10,535
- iTrader
- 56 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 27/102
phpmyadmin geeft het vrij snel op bij grotere bestanden. Ooit een back-up van 60MB proberen terug zetten in 1 keer en het was al een probleem. Ik vermoed dat uw bestand met 2 miljoen records zeker groter dan 60MB zal zijn
no votes
-
22-08-2007, 10:23 #14Member
- Registered
- 23/05/04
- Location
- Madrid
- Posts
- 140
- iTrader
- 2 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/0
Ik heb 1 gigantisch tekstbestand met 2.000.000 rijen, opgedeeld als volgt
Dus,YA4JH2174L01 GRAPHIC SET 2 30.18 G
Bestelnummer: A4JH2174L01
Titel: GRAPHIC SET 2
Prijs: 30.18
Beschikbaarheid: G
In het tekstbestand staan de items wel mooi in tabellen.
Of er nu afbeeldingen bij moeten of niet, dat is mijn zaak niet, mijn opdracht is om die lijst in de DB de pompen.
Het enige dat ik weet is dat het Linuxhosting is en ik (bij mijn weten) enkel over phpmyadmin beschik...
Btw, het bestand is 195MB zwaar..
Wat zou een ideale manier zijn? Ik kan het gerust laten vragen aan het hostingbedrijf, maar ik moet wel weten wat ik moet vragen natuurlijk
In ieder geval, den dikke merci voor de hulp...
Grno votes
-
22-08-2007, 10:54 #15Member
- Registered
- 20/05/07
- Location
- Pays des Collines
- Posts
- 3,643
- iTrader
- 5 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 0/9
Aiaiai op een gewone hosting die ge zelf niet beheert...
Als ge een control panel hebt lijk CPanel kunt ge misschien wel iets uitvoeren via command line of desnoods ne cron (eenmalig).
Ge gooit uw bestand op de ftp. Dan schrijft ge een import scriptje. Is poepsimpel in feite, kwartierke werk (been there, done that so many times before alleen nie voor 2 000 000 records
). Ge leest lijn per lijn in en hopelijk zit die delimiter goed en kunt ge veldje per veldje uitlezen. En dan meteen ne sql insert query uitvoeren. Bouw er eventueel een beveiliging in zodat moest em ergens stoppen dat ge bij ne retry geen dubbels gaat maken. En dat voert ge dan via command line uit (dus via uw control panel als die een command line module heeft of via eenmalige cron). Is gewoon 'php mijnscriptje.php' aanroepen, in de veronderstelling dat ge niet te veel restricties hebt.
Kzou da ook pas 's nachts doen omdat da ne serieus en vooral langdurige load op de mysqld zal veroorzaken. Kan gemakkelijk een paar uur duren en alle sites op die server zullen daar last van ondervinden, int slechtste geval onbereikbaar worden. Ne admin zal uw scriptje uiteraard killen als hij het ziet, dus die best ook verwittigen.
Als de opmaak van het bestand in orde is kunt ge het ne admin vragen te doen. Is vrij simpel met ne load data local infile ... into table blablabla. Dat is idealer maar hoort eigenlijk niet bij de taken van uwe host dus heel vriendelijk vragen
no votes

