Dataverrijking via web crawling

Home » Creatieve en innovatie onderzoeksmethoden » Dataverrijking via web crawling

Het web afspeuren

Eén van de manieren om meer inzicht te krijgen in klanten en bezoekers is door dataverrijking via webcrawling. Met webcrawling speuren wij met een webcrawler (ook wel spider genoemd) het wereldwijde web af. Dit gebeurd op een methodische en geautomatiseerde manier. Uw klantdata verrijken wij vervolgens met relevante nieuwe data die via de webcrawling is verkregen. Webscraping is bijna hetzelfde als webcrawling. Webscrapen focust zich echter vooral op de omzetting van ongestructureerde data, meestal in HTML-formaat, naar gestructureerde data.

Webcrawling als beginpunt

Het afspeuren van het internet kan ook als beginpunt voor onderzoek dienen. Wanneer u bijvoorbeeld een markt in kaart wilt brengen of wanneer u een algemeen inzicht over een markt of branche wilt. De spiders komen op gezette tijden terug zodat er een onderzoeksmonitor ontwikkeld kan worden.

Doel van webcrawling

Met dataverrijking via webcrawling of webscraping kunnen wij bestaande klantdata aanvullen met relevante nieuwe data zodat een uitgebreide dataset beschikbaar komt voor nadere analyse. Het uiteindelijke doel van de dataverrijking is het optimaliseren van producten en diensten op de wensen en behoeften van (potentiële) klanten. De data kunnen wij vanzelfsprekend ook gebruiken voor onderzoeksdoeleinden zoals beleidsonderzoek. Om de arbeidsmarkt van werkenden in de culturele sector in kaart te brengen heeft Bureau Lahaut bijvoorbeeld gebruik gemaakt van Jobfeed, een big data-tool voor de online vacaturemarkt.

Actuele informatie

Websites zijn een belangrijke databronnen voor onderzoek. Websites bevatten namelijk allerlei informatie over wat een organisatie doet en welke producten en diensten er worden aangeboden. Bovendien is het een actuele bron van informatie omdat websites regelmatig worden bijgewerkt met de laatste ontwikkelingen.

Bureau Lahaut en webcrawling

Voor een succesvolle dataverrijking heeft Bureau Lahaut alleen basisinformatie nodig zoals de URL’s van websites of telefoonnummers. Er kan voor gekozen worden om bestaande klantdata aan te vullen met slechts enkele nieuwe variabelen of juist een uitgebreide lijst aan nieuwe datavariabelen. Desgewenst neemt Bureau Lahaut het hele proces van webcrawling van u over: het verkrijgen van de data tot en met het analyseren en uitschrijven van de onderzoekresultaten.