Web scraper sederhana | 1

Banyak kegunaan web scraper, salah satunya sebagai input dari proses analisa / evaluasi penjualan bagi internal atau malah eksternal perusahaan. Contoh sederhananya ada seorang yang ingin tau harga rata-rata dari tas merk B karena akan diterapkan untuk toko onlinenya sendiri. Dia bikin scraper untuk mengambil data dari website marketplace semisal bukalapak. Masukkan search query yang sesuai kebutuhan di bukalapak dan grab atribut yang dibutuhkan dari item yang muncul di hasil pencarian, misal nama barang, harga serta pemilik toko. Setelah itu diekspor ke file tabular, misal excel.

Nah untuk rumusan permasalahannya seperti ini:

1. Barang yang di grab datanya adalah tas merk eiger
2. Atribut yang mau diambil nama, harga, pemilik toko
3. Barang yang diambil dibatasi cuman 10
4. Website yang dipakai bukalapak karena bisa scrape langsung tanpa manipulasi javascipt dan segala macem

Siapkan dulu environmentnya, bisa menggunakan virtualenv (disarankan biar membiasakan). Untuk kelancaran, silakan gunakan python2. Kalo pakai python3 silakan, tapi error silakan di troubleshoot sendiri, hehe. Install package dependency berikut :

1. Requests : pip install requests
2. BeautifulSoup : pip install bs4

Setelah terinstall, buat script berikut (coba pakai console dulu saja):

import requests

from bs4 import BeautifulSoup

page = requests.get("https://bukalapak.com") #ambil page bukalapak
page.status_code #cek status code , kalau awalan 2 (200) berarti sukses

soup = BeautifulSoup(page.content, "html.parser") #bikin object bs4 buat proses parsing

setelah itu coba tambahkan :

soup.title

Berikut screenshot saya, apakah hasilnya sama?

Proses selanjutnya akan dijelaskan di bagian 2.