Page 2 of 2 First 12

Thread: Scraping?

  1. #16
    CyBe®-DuDe's Avatar
    Registered
    17/07/02
    Location
    Brussel
    Posts
    197
    iTrader
    3 (100%)
    Mentioned
    0 Post(s)
    Reputation
    1/1
    Quote Originally Posted by Five-seveN View Post
    This quote is hidden because you are ignoring this member. Show
    Misschien heb je gelijk maar misschien is het toch moeilijker dan je denkt.

    Bijvoorbeeld ik scrapte goksites om te zien wat de bookmakers op wedstrijden hadden gezet.
    Dat begon met een copy-paste van de hele pagina in html, waarna ik dit parste.
    Zeer simpel. Ik downloade zo misschien wel 100GB van unibet per maand.
    Voor andere sites deed ik dit met een Control-A, Control-C op bepaalde pagina's.
    Ik weet ja enorm amateuristisch.

    Nu kan jij me misschien eens zeggen welk "beetje python" de wedstrijden met hun bets hieruit nog kan scrapen?
    https://nl-sports.unibet.be/betting/...rican_football

    Als je een "view source" doet komt er helemaal niks op, geen enkel team, geen enkele notering.
    Zelfs een control-A heeft geen noteringen op het klembord.
    Hoe werkt dat dan?
    Open de developer tools van je browser en ga naar de network tab. Refresh die page en filter op "json". Alle data zit gewoon gestructureerd in american_football.json.
    Of in een command prompt:
    curl -X GET "https://eu-offering.kambicdn.org/offering/v2018/ubbe/listView/american_football.json?lang=nl_BE&market=BE&client _id=2&channel_id=1&ncid=1593461402&useCombined=tru e"
    De ncid parameter is de Unix Epoch time maar moet je zelfs niet meegeven.
    Het wordt nog beter want je kan ook het volgende doen:
    curl -X GET "https://eu-offering.kambicdn.org/offering/v2018/ubbe/listView/handball,ice_hockey,motorsports,netball,american_f ootball.json?lang=nl_BE&market=BE&client_id=2&chan nel_id=1&ncid=1593461402&useCombined=true"
    Je kan dus een lijst krijgen van alle events van verschillende sporten. Iets wat ze zelf toepassen op https://nl-sports.unibet.be/betting/sports/home
    1 members found this post helpful.   Reply With Quote Reply With Quote

  2. #17

    Registered
    19/02/12
    Posts
    5,378
    iTrader
    0
    Mentioned
    16 Post(s)
    Reputation
    77/789
    Quote Originally Posted by CyBe®-DuDe View Post
    This quote is hidden because you are ignoring this member. Show
    Open de developer tools van je browser en ga naar de network tab. Refresh die page en filter op "json". Alle data zit gewoon gestructureerd in american_football.json.
    Of in een command prompt:

    De ncid parameter is de Unix Epoch time maar moet je zelfs niet meegeven.
    Het wordt nog beter want je kan ook het volgende doen:

    Je kan dus een lijst krijgen van alle events van verschillende sporten. Iets wat ze zelf toepassen op https://nl-sports.unibet.be/betting/sports/home
    Ik krijg prompt zin om weer te gaan scrapen

    Bedankt :thumbsup:
    no votes   Reply With Quote Reply With Quote

  3. #18
    yaris's Avatar
    Registered
    04/08/02
    Posts
    2,672
    iTrader
    0
    Mentioned
    0 Post(s)
    Reputation
    0/17
    no votes   Reply With Quote Reply With Quote

  4. #19
    Syter's Avatar
    Registered
    04/04/17
    Location
    Antwerpen
    Posts
    371
    iTrader
    0
    Mentioned
    2 Post(s)
    Reputation
    6/45
    Quote Originally Posted by zarathustra View Post
    This quote is hidden because you are ignoring this member. Show
    Het is nu jaren terug dat ik daar naar gekeken heb, maar je kan in python met (denk ik Selenium) dat gewoon een browser doen spelen en als ik met chrome in de source van die page kijk vind ik toch dingen als:

    <div data-touch-feedback="true" class="sc-AxhCb iXUpHL">Kansas City Chiefs</div>
    <div data-touch-feedback="true" class="sc-AxheI bTLIxK">1.20</div>

    dus als je iets afstemt op die pagina kan je dat er waarschijnlijk wel uithalen, hoe flexibel dat zal zijn en hoe lang het zal werken is iets anders.

    een soort van OCR of image processing is waarschijnlijk simpeler
    Inderdaad, met Selenium en Beautiful Soup is dit enorm simpel. Ik deed dit met bepaalde aandelen die ik in een rapport liet toekomen op mijn e-mailadres op vaste tijdstippen.

    Verstuurd vanaf mijn FIG-LX1 met Tapatalk
    no votes   Reply With Quote Reply With Quote

  5. #20
    Oldskooler's Avatar
    Registered
    22/01/07
    Location
    0000
    Posts
    14,248
    iTrader
    0
    Mentioned
    4 Post(s)
    Reputation
    16/667
    no votes   Reply With Quote Reply With Quote

Posting Permissions

  • You may not post new threads
  • You may not post replies
  • You may not post attachments
  • You may not edit your posts
  •  

Log in

Log in