Pagina 2 van 2 Eerste 12

Discussie: Scraping?

  1. #16
    CyBe®-DuDe's schermafbeelding
    Lid sinds
    17/07/02
    Locatie
    Brussel
    Berichten
    197
    iTrader
    3 (100%)
    Mentioned
    0 Post(s)
    Reputation
    1/1
    Citaat Oorspronkelijk geplaatst door Five-seveN Bekijk bericht
    Deze quote is verborgen omdat je deze gebruiker negeert. Weergeven
    Misschien heb je gelijk maar misschien is het toch moeilijker dan je denkt.

    Bijvoorbeeld ik scrapte goksites om te zien wat de bookmakers op wedstrijden hadden gezet.
    Dat begon met een copy-paste van de hele pagina in html, waarna ik dit parste.
    Zeer simpel. Ik downloade zo misschien wel 100GB van unibet per maand.
    Voor andere sites deed ik dit met een Control-A, Control-C op bepaalde pagina's.
    Ik weet ja enorm amateuristisch.

    Nu kan jij me misschien eens zeggen welk "beetje python" de wedstrijden met hun bets hieruit nog kan scrapen?
    https://nl-sports.unibet.be/betting/...rican_football

    Als je een "view source" doet komt er helemaal niks op, geen enkel team, geen enkele notering.
    Zelfs een control-A heeft geen noteringen op het klembord.
    Hoe werkt dat dan?
    Open de developer tools van je browser en ga naar de network tab. Refresh die page en filter op "json". Alle data zit gewoon gestructureerd in american_football.json.
    Of in een command prompt:
    curl -X GET "https://eu-offering.kambicdn.org/offering/v2018/ubbe/listView/american_football.json?lang=nl_BE&market=BE&client _id=2&channel_id=1&ncid=1593461402&useCombined=tru e"
    De ncid parameter is de Unix Epoch time maar moet je zelfs niet meegeven.
    Het wordt nog beter want je kan ook het volgende doen:
    curl -X GET "https://eu-offering.kambicdn.org/offering/v2018/ubbe/listView/handball,ice_hockey,motorsports,netball,american_f ootball.json?lang=nl_BE&market=BE&client_id=2&chan nel_id=1&ncid=1593461402&useCombined=true"
    Je kan dus een lijst krijgen van alle events van verschillende sporten. Iets wat ze zelf toepassen op https://nl-sports.unibet.be/betting/sports/home
    1 leden vonden dit bericht nuttig.   Met citaat reageren Met citaat reageren

  2. #17

    Lid sinds
    19/02/12
    Locatie
    Arendonk
    Berichten
    4.520
    iTrader
    0
    Mentioned
    6 Post(s)
    Reputation
    69/604
    Citaat Oorspronkelijk geplaatst door CyBe®-DuDe Bekijk bericht
    Deze quote is verborgen omdat je deze gebruiker negeert. Weergeven
    Open de developer tools van je browser en ga naar de network tab. Refresh die page en filter op "json". Alle data zit gewoon gestructureerd in american_football.json.
    Of in een command prompt:

    De ncid parameter is de Unix Epoch time maar moet je zelfs niet meegeven.
    Het wordt nog beter want je kan ook het volgende doen:

    Je kan dus een lijst krijgen van alle events van verschillende sporten. Iets wat ze zelf toepassen op https://nl-sports.unibet.be/betting/sports/home
    Ik krijg prompt zin om weer te gaan scrapen

    Bedankt :thumbsup:

  3. #18
    yaris's schermafbeelding
    Lid sinds
    4/08/02
    Berichten
    2.625
    iTrader
    0
    Mentioned
    0 Post(s)
    Reputation
    0/13

  4. #19

    Lid sinds
    4/04/17
    Locatie
    Antwerpen
    Berichten
    203
    iTrader
    0
    Mentioned
    1 Post(s)
    Reputation
    1/7
    Citaat Oorspronkelijk geplaatst door zarathustra Bekijk bericht
    Deze quote is verborgen omdat je deze gebruiker negeert. Weergeven
    Het is nu jaren terug dat ik daar naar gekeken heb, maar je kan in python met (denk ik Selenium) dat gewoon een browser doen spelen en als ik met chrome in de source van die page kijk vind ik toch dingen als:

    <div data-touch-feedback="true" class="sc-AxhCb iXUpHL">Kansas City Chiefs</div>
    <div data-touch-feedback="true" class="sc-AxheI bTLIxK">1.20</div>

    dus als je iets afstemt op die pagina kan je dat er waarschijnlijk wel uithalen, hoe flexibel dat zal zijn en hoe lang het zal werken is iets anders.

    een soort van OCR of image processing is waarschijnlijk simpeler
    Inderdaad, met Selenium en Beautiful Soup is dit enorm simpel. Ik deed dit met bepaalde aandelen die ik in een rapport liet toekomen op mijn e-mailadres op vaste tijdstippen.

    Verstuurd vanaf mijn FIG-LX1 met Tapatalk

  5. #20
    Oldskooler's schermafbeelding
    Lid sinds
    22/01/07
    Locatie
    0000
    Berichten
    13.852
    iTrader
    0
    Mentioned
    0 Post(s)
    Reputation
    15/547

Regels voor berichten

  • Je mag geen nieuwe discussies starten
  • Je mag niet reageren op berichten
  • Je mag geen bijlagen versturen
  • Je mag niet je berichten bewerken
  •  

Inloggen

Inloggen