Webscraper

Console Web Scraper:

Project Overzicht

De Console Web Scraper is een C#-applicatie die ik heb ontwikkeld met Visual Studio. Hiermee kunnen gebruikers data scrapen van drie verschillende websites: YouTube, ICTJob en Bol.com. De scraped data bevat videodetails van YouTube, IT-vacatures van ICTJob en productinformatie van Bol.com. Het project bevat ook wishlist management voor Bol.com-producten en de mogelijkheid om scraped data te exporteren naar JSON- en CSV-formaten.

Features

• YouTube Scraper: Gebruikers kunnen gedetailleerde informatie over video's op YouTube zoeken en ophalen.
• ICTJob ScraperGebruikers kunnen informatie over IT-vacatures zoeken en ophalen op ICTJob.
• Bol.com Scraper: Gebruikers kunnen productinformatie zoeken en ophalen op Bol.com.
• Wishlist Management:Terwijl ze gegevens van Bol.com verzamelen, kunnen gebruikers producten aan een verlanglijst toevoegen voor toekomstig gebruik.
• Export Functionality:Alle verzamelde gegevens kunnen worden geëxporteerd in JSON- of CSV-formaat voor verdere analyse of opslag.

Aan de slag

Vereisten

• Visual Studio installed.
• .NET Core SDK installed.

Installatie

1. Kloon de repository naar uw lokale computer.
2. Open het oplossingsbestand (WebScraperConsole.sln) in Visual Studio.
3. Bouw de oplossing en voer de applicatie uit.

Gebruik

1. Start de applicatie.
2. Kies een van de scraping-opties uit het menu (YouTube, ICTJob of Bol.com).
3. Volg de aanwijzingen om zoektermen in te voeren en met de opgehaalde gegevens te communiceren.

Dankbetuigingen

Dit project werd mogelijk gemaakt door het gebruik van diverse uitstekende bibliotheken, waaronder Selenium WebDriver voor webscraping, CsvHelper voor CSV-beheer en Newtonsoft.Json voor het verwerken van JSON-gegevens.

Uitlegvideo

Github link

https://github.com/GiosSiebe/Console-Web-Scraper

Conclusie

De Console Web Scraper was een geweldige leerervaring in web scraping, C#-ontwikkeling en werken met dataformaten zoals JSON en CSV. Het gaf waardevolle inzichten in het automatiseren van data retrieval en -manipulatie terwijl praktische functies zoals wishlist management werden gebouwd.