Page 1 of 2 12 Last
  1. #1
    [E.I]Magic's Avatar
    Registered
    23/05/04
    Location
    Madrid
    Posts
    140
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0

    MYSQL: phpmyadmin - max records

    Ik heb een vraagje over MYSQL databases.

    Wat is het maximum aantal records dat je kan invoegen?
    Of is dit niet gelimiteerd?

    Ik vraag dit omdat ik een lijst gekregen heb van 2.000.000 artikelen om in een database to steken.
    Kan dit allemaal in 1 tabel?

    Indien dit niet kan, hoe los ik dit best op?

    Thx..
    no votes  

  2. #2
    frenzal's Avatar
    Registered
    20/12/02
    Location
    Antwerpen
    Posts
    1,319
    iTrader
    8 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/1
    dat zou geen probleem mogen zijn
    no votes  

  3. #3
    taLa.'s Avatar
    Registered
    03/01/06
    Location
    Gent
    Posts
    435
    iTrader
    0
    Mentioned
    0 Post(s)
    Reputation
    1/16
    Een lijst van 2 miljoen zou ik nu niet direct via phpMyAdmin doen, alhoewel ge daar in principe geen probleem mee zou mogen ondervinden. Ik zou het alleszins via de command line doen.
    $0.02
    no votes  

  4. #4

    Registered
    12/10/02
    Location
    mars
    Posts
    14,319
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    cmd-line lijkt me ook de iets betere polossing.

    maar bij zo gigantische hoeveelheden raad ik wel aan eens te kijken naar welke storage engine je gebruikt. Ik raad dan toch sterk innodb aan ipv het gebruikelijke myisam (bij innodb gaat wel je insert-tijd wrsch iets langer zijn, read-tijd zal normaal wel stuk optimaler zijn als je je PK's goed instelt).
    no votes  

  5. #5
    [E.I]Magic's Avatar
    Registered
    23/05/04
    Location
    Madrid
    Posts
    140
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    Hoe moet je precies te werk gaan om het via de command line te doen?

    Alvast bedankt voor de hulp
    no votes  

  6. #6

    Registered
    12/10/02
    Location
    mars
    Posts
    14,319
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    normaal gaat inserten ook via mysqldump.exe (te vinden in je bin dir).
    no votes  

  7. #7
    Lord Kveldulv's Avatar
    Registered
    20/05/07
    Location
    Pays des Collines
    Posts
    3,643
    iTrader
    5 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/9
    Quote Originally Posted by killgore View Post
    This quote is hidden because you are ignoring this member. Show
    normaal gaat inserten ook via mysqldump.exe (te vinden in je bin dir).
    Het zou maar triestig en not-done zijn moest ge zo'n db op ne windowsbak draaien, om dan nog maar te zwijgen over productie omgevingen.

    De vraag is eigenlijk in welke vorm de data aangeleverd wordt? XML? CSV? ...?
    no votes  

  8. #8

    Registered
    12/10/02
    Location
    mars
    Posts
    14,319
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    jah, k, effe nie aan gedacht toen ik ging opzoeken (zat zelf op windowsbak ), excuus.

    XML wordt bij mijn weten niet ondersteund, hoewel ge daar mssch ook tools vo kunt vinde. CSV's wel iirc. Snu wel een tijke geleden da tik dat heb gedaan.
    no votes  

  9. #9
    Lord Kveldulv's Avatar
    Registered
    20/05/07
    Location
    Pays des Collines
    Posts
    3,643
    iTrader
    5 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/9
    Quote Originally Posted by killgore View Post
    This quote is hidden because you are ignoring this member. Show
    jah, k, effe nie aan gedacht toen ik ging opzoeken (zat zelf op windowsbak ), excuus.

    XML wordt bij mijn weten niet ondersteund, hoewel ge daar mssch ook tools vo kunt vinde. CSV's wel iirc. Snu wel een tijke geleden da tik dat heb gedaan.
    Zelf import scriptje schrijven he. Perl of desnoods php. Meeste leveranciers leveren hun data aan in XML en das ook nog gemakkelijk te behandelen, alleen zien da ge performante code schrijft. Wij krijgen opt werk zo XML's van 40mb... per product. En dan steekt 4GB ram snel vol
    Realtime producten updaten wordt dan ook heel simpel. Wij zitten met 10 000, welliswaar zeer uitgebreidde, producten om onze website. Ben curieus van wa aard 2 000 000 producten zijn en hoe die onderhouden gaan worden?
    no votes  

  10. #10
    [E.I]Magic's Avatar
    Registered
    23/05/04
    Location
    Madrid
    Posts
    140
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    Wel, dat vraag ik me ook af....
    Voeg bijvoorbeeld eens aan ieder product een afbeeldingske toe...

    Nu, ik heb enkel ervaring met phpmyadmin...

    Wat zou de beste manier zijn? Ik kan dan wat opzoekingswerk doen..

    Alvast bedankt!
    no votes  

  11. #11
    Lord Kveldulv's Avatar
    Registered
    20/05/07
    Location
    Pays des Collines
    Posts
    3,643
    iTrader
    5 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/9
    Nogmaals: in welke vorm krijgt ge de data aangeleverd?
    Ge kunt niet alles zomaar importeren he.
    Trouwens, phpmyadmin is een php app die (liefst) op ne apache draait. Maw heeft ook een beperking qua max file size dat ge kunt uploaden. En stel dat ge uw producten krijgt in ne schone csv met 1 prijs en een productcode van 5 cijfers en ne titel van max 255 chars. Dan nog gaat da misschien honderden mb's zijn. Phpmyadmin gaat u daar niet mee kunnen helpen vrees is, tenzij ge manueel uw producten gaat opsplitsen per 20 000 of zo. En dan wil ik ook nog wel es zien of ge da bestand met 2 000 000 records openkrijgt op uwe pc met excel of notepad of whatever
    Maar dat is maar een gissing aangezien ge maar schaars zijt met informatie
    no votes  

  12. #12
    fromalk's Avatar
    Registered
    21/07/03
    Location
    Alken / hasselt
    Posts
    3,725
    iTrader
    145 (97%)
    Mentioned
    0 Post(s)
    Reputation
    0/1
    hangt van een aantal factoren af,

    zoals je zegt;

    moet elke waarde in de db ook een foto of een link naar een foto etc bevatten?
    hoe wordt u data aangeleverd?
    wat voor een server gebruik je en kan je ssh etc inloggen voor via de command line te werken?

    hoe groot zijn de verschillende velden per rij?
    no votes  

  13. #13
    Cycloon's Avatar
    Registered
    18/01/04
    Location
    Melle
    Posts
    10,535
    iTrader
    56 (100%)
    Mentioned
    0 Post(s)
    Reputation
    27/102
    phpmyadmin geeft het vrij snel op bij grotere bestanden. Ooit een back-up van 60MB proberen terug zetten in 1 keer en het was al een probleem. Ik vermoed dat uw bestand met 2 miljoen records zeker groter dan 60MB zal zijn
    no votes  

  14. #14
    [E.I]Magic's Avatar
    Registered
    23/05/04
    Location
    Madrid
    Posts
    140
    iTrader
    2 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/0
    Ik heb 1 gigantisch tekstbestand met 2.000.000 rijen, opgedeeld als volgt

    YA4JH2174L01 GRAPHIC SET 2 30.18 G
    Dus,
    Bestelnummer: A4JH2174L01
    Titel: GRAPHIC SET 2
    Prijs: 30.18
    Beschikbaarheid: G

    In het tekstbestand staan de items wel mooi in tabellen.

    Of er nu afbeeldingen bij moeten of niet, dat is mijn zaak niet, mijn opdracht is om die lijst in de DB de pompen.

    Het enige dat ik weet is dat het Linuxhosting is en ik (bij mijn weten) enkel over phpmyadmin beschik...

    Btw, het bestand is 195MB zwaar..

    Wat zou een ideale manier zijn? Ik kan het gerust laten vragen aan het hostingbedrijf, maar ik moet wel weten wat ik moet vragen natuurlijk

    In ieder geval, den dikke merci voor de hulp...

    Gr
    no votes  

  15. #15
    Lord Kveldulv's Avatar
    Registered
    20/05/07
    Location
    Pays des Collines
    Posts
    3,643
    iTrader
    5 (100%)
    Mentioned
    0 Post(s)
    Reputation
    0/9
    Aiaiai op een gewone hosting die ge zelf niet beheert...
    Als ge een control panel hebt lijk CPanel kunt ge misschien wel iets uitvoeren via command line of desnoods ne cron (eenmalig).
    Ge gooit uw bestand op de ftp. Dan schrijft ge een import scriptje. Is poepsimpel in feite, kwartierke werk (been there, done that so many times before alleen nie voor 2 000 000 records ). Ge leest lijn per lijn in en hopelijk zit die delimiter goed en kunt ge veldje per veldje uitlezen. En dan meteen ne sql insert query uitvoeren. Bouw er eventueel een beveiliging in zodat moest em ergens stoppen dat ge bij ne retry geen dubbels gaat maken. En dat voert ge dan via command line uit (dus via uw control panel als die een command line module heeft of via eenmalige cron). Is gewoon 'php mijnscriptje.php' aanroepen, in de veronderstelling dat ge niet te veel restricties hebt.
    Kzou da ook pas 's nachts doen omdat da ne serieus en vooral langdurige load op de mysqld zal veroorzaken. Kan gemakkelijk een paar uur duren en alle sites op die server zullen daar last van ondervinden, int slechtste geval onbereikbaar worden. Ne admin zal uw scriptje uiteraard killen als hij het ziet, dus die best ook verwittigen.
    Als de opmaak van het bestand in orde is kunt ge het ne admin vragen te doen. Is vrij simpel met ne load data local infile ... into table blablabla. Dat is idealer maar hoort eigenlijk niet bij de taken van uwe host dus heel vriendelijk vragen
    no votes  

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  

Log in

Log in