-
19-04-2010, 00:47 #1Member
- Registered
- 01/09/09
- Location
- Antwerpen
- Posts
- 1,303
- iTrader
- 6 (100%)
- Mentioned
- 0 Post(s)
welke techniek gebruikt krantenkoppen.be
Een site als Krantenkoppen.be: Belgische Kranten zo bestaan er nog wel een paar, maar welke techniek gebruiken ze eigenlijk?
Ik denk niet dat ze file_get_contents() gebruiken om de data te rippen, want dat zou teveel tijd vragen, om dit bij iedere bezoeker te doen
blijkbaar zit alles in een database (zie naar die id's in de links) maar hoe updaten ze die database dan quasi continu?
iemand een idee of een hint?no votes
-
-
19-04-2010, 00:57 #2Member
- Registered
- 06/06/04
- Location
- Bilzen
- Posts
- 8,805
- iTrader
- 18 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 42/128
Die lezen gewoon de rss feeds uit.
Bijvoorbeeld: feed://www.vandaag.be/xml/vandaagbe-algemeen.xml
Qua vollediger antwoord kan het wel tellen om te vermelden dat dit via een cron job kan gebeuren. Een script dat op een bepaald interval wordt uitgevoerd en de nieuwe nieuwsberichten dan ook toevoegt aan hun eigen databank.
Of ze kijken bij elke bezoeker wanneer de laatste update is gebeurd (wordt ergens opgeslagen), indien die update minder dan een bepaald interval geleden is gebeurd halen ze de data uit de db, anders doen ze ook nog eens een update bovenop hun eigen data.Last edited by Zero Grav; 19-04-2010 at 01:21.
no votes
-
19-04-2010, 17:19 #3
het opslagen is zelfs niet nodig he
gewoon met php ofzo de RSS weergeven werkt ook alPSN: Shaddix-beno votes
-
19-04-2010, 17:29 #4Member
- Registered
- 06/06/04
- Location
- Bilzen
- Posts
- 8,805
- iTrader
- 18 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 42/128
Ze zullen u graag zien komen als gij duizenden bezoekers per minuut hebt.
Het opslaan is gewoon 'hoffelijker' en ook voor uw eigen server minder zwaar dan telkens een connectie naar een externe server leggen.no votes
-
19-04-2010, 18:42 #5Member
- Registered
- 01/09/09
- Location
- Antwerpen
- Posts
- 1,303
- iTrader
- 6 (100%)
- Mentioned
- 0 Post(s)
Dat was een beetje de vraag. Dat ze RSS feeds lezen en rippen is me nu duidelijk. Alleen de laadtijd van hun site is wel heel snel, dus het leek me niet mogelijk dat dit eerst site per site werd geladen (wat doe je dan als 1 site wat "down" is + alle trafiek die je onrechtstreeks veroorzaakt op de externe site). Vermoedelijk dus met een cronjob die om de x minuten alle sites update. Is dat dan ook niet zwaar voor je eigen site/server?
no votes
-
19-04-2010, 21:18 #6
Ik zou het niet met een cronjob doen. Gewoon bijhouden wanneer de laatste update was. En dan gaan kijken hoelang het al geleden is, is dit meer dan een uur, tijd setten naar huidige tijd en alle data afgaan.
Al zou ik begot niet weten welke sneller zou zijn...no votes
-
19-04-2010, 22:09 #7no votes
-
19-04-2010, 22:56 #8Approved 9liver
- Registered
- 18/01/04
- Location
- Melle
- Posts
- 10,535
- iTrader
- 56 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 27/102
“In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
PSN: Cycloon - Final Fantasy XIV: A realm reborn characterno votes
-
20-04-2010, 07:02 #9no votes
-
20-04-2010, 10:20 #10Approved 9liver
- Registered
- 18/01/04
- Location
- Melle
- Posts
- 10,535
- iTrader
- 56 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 27/102
“In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
PSN: Cycloon - Final Fantasy XIV: A realm reborn characterno votes
-
20-04-2010, 16:04 #11
Je haalt eerst de data op en dan laat je je site zien. En ja, bij die persoon zal het laden dan iets langer duren.
no votes
-
20-04-2010, 16:21 #12Approved 9liver
- Registered
- 18/01/04
- Location
- Melle
- Posts
- 10,535
- iTrader
- 56 (100%)
- Mentioned
- 0 Post(s)
- Reputation
- 27/102
Dat werkt als je maar 1 nieuwssite ofzo gaat bijhouden. Als je echter tientallen websites wilt scrapen dan gaat die eerste gebruiker niet echt blij zijn.
“In terms of how we evaluate schooling, everything is about working by yourself. If you work with someone else, it’s called cheating. Once you get out in the real world, everything you do involves working with other people.”
PSN: Cycloon - Final Fantasy XIV: A realm reborn characterno votes

