1. #1

    Registered
    01/09/09
    Location
    Antwerpen
    Posts
    1,303
    iTrader
    6 (100%)
    Mentioned
    0 Post(s)

    welke techniek gebruikt krantenkoppen.be

    Een site als Krantenkoppen.be: Belgische Kranten zo bestaan er nog wel een paar, maar welke techniek gebruiken ze eigenlijk?

    Ik denk niet dat ze file_get_contents() gebruiken om de data te rippen, want dat zou teveel tijd vragen, om dit bij iedere bezoeker te doen

    blijkbaar zit alles in een database (zie naar die id's in de links) maar hoe updaten ze die database dan quasi continu?

    iemand een idee of een hint?
    no votes  

  2. #2
    Zero Grav's Avatar
    Registered
    06/06/04
    Location
    Bilzen
    Posts
    8,805
    iTrader
    18 (100%)
    Mentioned
    0 Post(s)
    Reputation
    42/128
    Die lezen gewoon de rss feeds uit.
    Bijvoorbeeld: feed://www.vandaag.be/xml/vandaagbe-algemeen.xml

    Qua vollediger antwoord kan het wel tellen om te vermelden dat dit via een cron job kan gebeuren. Een script dat op een bepaald interval wordt uitgevoerd en de nieuwe nieuwsberichten dan ook toevoegt aan hun eigen databank.

    Of ze kijken bij elke bezoeker wanneer de laatste update is gebeurd (wordt ergens opgeslagen), indien die update minder dan een bepaald interval geleden is gebeurd halen ze de data uit de db, anders doen ze ook nog eens een update bovenop hun eigen data.
    Last edited by Zero Grav; 19-04-2010 at 01:21.
    no votes  

  3. #3
    Shaddix's Avatar
    Registered
    08/09/09
    Posts
    6,121
    iTrader
    23 (100%)
    Mentioned
    9 Post(s)
    Reputation
    3/121
    het opslagen is zelfs niet nodig he

    gewoon met php ofzo de RSS weergeven werkt ook al
    PSN: Shaddix-be
    no votes  

  4. #4
    Zero Grav's Avatar
    Registered
    06/06/04
    Location
    Bilzen
    Posts
    8,805
    iTrader
    18 (100%)
    Mentioned
    0 Post(s)
    Reputation
    42/128
    Ze zullen u graag zien komen als gij duizenden bezoekers per minuut hebt.
    Het opslaan is gewoon 'hoffelijker' en ook voor uw eigen server minder zwaar dan telkens een connectie naar een externe server leggen.
    no votes  

  5. #5

    Registered
    01/09/09
    Location
    Antwerpen
    Posts
    1,303
    iTrader
    6 (100%)
    Mentioned
    0 Post(s)
    Dat was een beetje de vraag. Dat ze RSS feeds lezen en rippen is me nu duidelijk. Alleen de laadtijd van hun site is wel heel snel, dus het leek me niet mogelijk dat dit eerst site per site werd geladen (wat doe je dan als 1 site wat "down" is + alle trafiek die je onrechtstreeks veroorzaakt op de externe site). Vermoedelijk dus met een cronjob die om de x minuten alle sites update. Is dat dan ook niet zwaar voor je eigen site/server?
    no votes  

  6. #6
    Curahee Q's Avatar
    Registered
    07/12/07
    Location
    Hoogstraten
    Posts
    854
    iTrader
    0
    Mentioned
    0 Post(s)
    Ik zou het niet met een cronjob doen. Gewoon bijhouden wanneer de laatste update was. En dan gaan kijken hoelang het al geleden is, is dit meer dan een uur, tijd setten naar huidige tijd en alle data afgaan.
    Al zou ik begot niet weten welke sneller zou zijn...
    no votes  

  7. #7
    adrianhates's Avatar
    Registered
    23/01/06
    Posts
    2,115
    iTrader
    0
    Mentioned
    0 Post(s)
    Reputation
    23/23
    Quote Originally Posted by Curahee Q View Post
    This quote is hidden because you are ignoring this member. Show
    Ik zou het niet met een cronjob doen. Gewoon bijhouden wanneer de laatste update was. En dan gaan kijken hoelang het al geleden is, is dit meer dan een uur, tijd setten naar huidige tijd en alle data afgaan.
    Al zou ik begot niet weten welke sneller zou zijn...
    Dat is toch niet zo slim? Dan ga je eigelijk pas updaten als er een bezoeker is
    no votes  

  8. #8
    Cycloon's Avatar
    Registered
    18/01/04
    Location
    Melle
    Posts
    10,535
    iTrader
    56 (100%)
    Mentioned
    0 Post(s)
    Reputation
    27/102
    Quote Originally Posted by Curahee Q View Post
    This quote is hidden because you are ignoring this member. Show
    Al zou ik begot niet weten welke sneller zou zijn...
    Geen van beide gaat "sneller" zijn vermits dezelfde acties ondernomen moeten worden.

    Anyway, beste blijft cronjob.
    “In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
    PSN: Cycloon - Final Fantasy XIV: A realm reborn character
    no votes  

  9. #9
    Curahee Q's Avatar
    Registered
    07/12/07
    Location
    Hoogstraten
    Posts
    854
    iTrader
    0
    Mentioned
    0 Post(s)
    Quote Originally Posted by adrianhates View Post
    This quote is hidden because you are ignoring this member. Show
    Dat is toch niet zo slim? Dan ga je eigelijk pas updaten als er een bezoeker is
    Waarom moet er vroeger geupdate worden als er geen bezoekers zijn?
    no votes  

  10. #10
    Cycloon's Avatar
    Registered
    18/01/04
    Location
    Melle
    Posts
    10,535
    iTrader
    56 (100%)
    Mentioned
    0 Post(s)
    Reputation
    27/102
    Quote Originally Posted by Curahee Q View Post
    This quote is hidden because you are ignoring this member. Show
    Waarom moet er vroeger geupdate worden als er geen bezoekers zijn?
    Omdat de eerst volgende bezoeker anders geen nieuws ziet? (of enkel pas als die alle updates heeft afgehaald)
    “In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
    PSN: Cycloon - Final Fantasy XIV: A realm reborn character
    no votes  

  11. #11
    Curahee Q's Avatar
    Registered
    07/12/07
    Location
    Hoogstraten
    Posts
    854
    iTrader
    0
    Mentioned
    0 Post(s)
    Je haalt eerst de data op en dan laat je je site zien. En ja, bij die persoon zal het laden dan iets langer duren.
    no votes  

  12. #12
    Cycloon's Avatar
    Registered
    18/01/04
    Location
    Melle
    Posts
    10,535
    iTrader
    56 (100%)
    Mentioned
    0 Post(s)
    Reputation
    27/102
    Dat werkt als je maar 1 nieuwssite ofzo gaat bijhouden. Als je echter tientallen websites wilt scrapen dan gaat die eerste gebruiker niet echt blij zijn.
    “In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
    PSN: Cycloon - Final Fantasy XIV: A realm reborn character
    no votes  

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  

Log in

Log in