Der ultimative Leitfaden für das Amazon Scraping: Tipps, Tricks und 9 Beste Praktiken für 2023

Stellen Sie sich vor, Sie wären ein abenteuerlustiger Entdecker, der kopfüber in das riesige und geheimnisvolle Reich des Amazonas eintaucht – nicht in den Regenwald, sondern in den Online-Einzelhandelsriesen. Mit jedem Klick entdecken Sie unschätzbare Schätze und tauchen immer tiefer in das unerforschte Gebiet der Daten ein.

In dieser spannenden Expedition stellen wir Ihnen eine Schritt-für-Schritt-Anleitung vor, mit der Sie sich im dichten digitalen Dschungel des Amazon Web Scraping zurechtfinden. Bereiten Sie sich auf eine Reise vor, die ihresgleichen sucht, bewaffnet mit Tipps und Tricks von Experten, um wertvolle Informationen mit unvergleichlicher Präzision zu extrahieren.

Inhaltsverzeichnis

• Welche Daten man von Amazon abrufen sollte
• Einige Grundvoraussetzungen
• Einrichten für Scraping
• Scraping von Amazon-Produktinformationen
  • Extrahieren von Produktnamen
  • Extrahieren von Produktbewertungen
  • Extrahieren des Produktpreises
  • Bild extrahieren
  • Extrahieren von Produktbeschreibungen
  • Handhabung der Produktauflistung
  • Handhabung der Paginierung
  • Amazon-Daten exportieren
• Wie man mehrere Seiten auf Amazon scrapen kann
• Scraping von Amazon: Häufig gestellte Fragen
• Fazit

Also, nehmen Sie Ihren Mut zusammen, schnüren Sie Ihre virtuellen Stiefel und lassen Sie uns gemeinsam unser datengetriebenes Abenteuer beginnen!

Welche Daten man von Amazon scrapen sollte

Es gibt zahlreiche Datenpunkte, die mit einem Amazon-Produkt verbunden sind, aber die wichtigsten Elemente, auf die man sich beim Scrapen konzentrieren sollte, sind:

1. Produkttitel
2. Kosten
3. Ersparnis (falls zutreffend)
4. Artikel-Zusammenfassung
5. Liste der zugehörigen Merkmale (falls verfügbar)
6. Bewertung
7. Produktvisualisierungen

Obwohl dies die wichtigsten Aspekte sind, die beim Scrapen eines Amazon-Artikels zu berücksichtigen sind, ist es wichtig zu beachten, dass die Informationen, die Sie extrahieren, je nach Ihren spezifischen Zielen variieren können.

Einige Grundvoraussetzungen

Um eine Suppe zu kochen, brauchen wir die richtigen Zutaten. In ähnlicher Weise benötigt unser neuer Web Scraper bestimmte Komponenten.

• Python – Die Benutzerfreundlichkeit und die umfangreiche Bibliothekssammlung machen Python zur ersten Wahl für Web Scraping. Falls es noch nicht installiert ist, lesen Sie diesen Leitfaden.
• BeautifulSoup – Dies ist eine der vielen Web-Scraping-Bibliotheken, die für Python verfügbar sind. Ihre Einfachheit und saubere Nutzung machen sie zu einer beliebten Wahl für Web Scraping. Nachdem Sie Python erfolgreich installiert haben, können Sie BeautifulSoup installieren, indem Sie pip install bs4 ausführen.
• Grundlegendes Verständnis von HTML-Tags – Lesen Sie dieses Tutorial, um das notwendige Wissen über HTML-Tags zu erwerben.
• Webbrowser – Da wir eine Menge irrelevanter Informationen aus einer Website herausfiltern müssen, sind bestimmte IDs und Tags für die Filterung erforderlich. Ein Webbrowser wie Google Chrome oder Mozilla Firefox ist nützlich, um diese Tags zu identifizieren.

Einrichten für Scraping

Stellen Sie zunächst sicher, dass Sie Python installiert haben. Wenn Sie Python 3.8 oder höher noch nicht haben, besuchen Sie python.org, um die neueste Version herunterzuladen und zu installieren.

Als Nächstes erstellen Sie ein Verzeichnis, in dem Sie Ihre Web-Scraping-Code-Dateien für Amazon speichern. Es ist generell eine gute Idee, eine virtuelle Umgebung für Ihr Projekt einzurichten.

Verwenden Sie die folgenden Befehle, um eine virtuelle Umgebung auf macOS und Linux zu erstellen und zu aktivieren:

$ python3 -m venv .env

$ source .env/bin/activate

Für Windows-Benutzer sehen die Befehle etwas anders aus:

d:\amazon>python -m venv .env

d:\amazon>.env\scripts\activate

Nun ist es an der Zeit, die erforderlichen Python-Pakete zu installieren.

Sie benötigen Pakete für zwei Hauptaufgaben: das Abrufen von HTML und das Parsen von HTML, um relevante Daten zu extrahieren.

Die Requests-Bibliothek ist eine weit verbreitete Python-Bibliothek von Drittanbietern, die HTTP-Anfragen stellt. Sie bietet eine unkomplizierte und benutzerfreundliche Schnittstelle, um HTTP-Anfragen an Webserver zu stellen und Antworten zu erhalten. Sie ist vielleicht die bekannteste Bibliothek für Web Scraping.

Die Requests-Bibliothek hat jedoch eine Einschränkung: Sie gibt die HTML-Antwort als String zurück, was beim Schreiben von Web-Scraping-Code die Suche nach bestimmten Elementen wie Preislisten erschweren kann.

An dieser Stelle kommt Beautiful Soup ins Spiel. Beautiful Soup ist eine Python-Bibliothek, die für Web Scraping entwickelt wurde und Daten aus HTML- und XML-Dateien extrahiert. Sie ermöglicht es Ihnen, Informationen aus einer Webseite abzurufen, indem Sie nach Tags, Attributen oder spezifischem Text suchen.

Um beide Bibliotheken zu installieren, verwenden Sie den folgenden Befehl:

$ python3 -m pip install requests beautifulsoup4

Für Windows-Benutzer ersetzen Sie „python3“ durch „python“ und lassen den Rest des Befehls unverändert:

d:\amazon>python -m pip install requests beautifulsoup4

Beachten Sie, dass wir die Version 4 der Beautiful Soup-Bibliothek installieren.

Testen wir nun die Requests-Scraping-Bibliothek. Erstellen Sie eine neue Datei namens amazon.py und geben Sie den folgenden Code ein:

import requests

url = 'https://www.amazon.com/Bose-QuietComfort-45-Bluetooth-Canceling-Headphones/dp/B098FKXT8L

response = requests.get(url)

print(antwort.text)

Speichern Sie die Datei und führen Sie sie über das Terminal aus.

$ python3 amazon.py

In den meisten Fällen werden Sie nicht in der Lage sein, den gewünschten HTML-Code anzuzeigen. Amazon wird die Anfrage blockieren, und Sie erhalten die folgende Antwort:

Um den automatischen Zugriff auf Amazon-Daten zu besprechen, kontaktieren Sie bitte [email protected]

Wenn Sie den response.status_code ausdrucken, werden Sie sehen, dass Sie einen 503-Fehler statt eines 200-Erfolgscodes erhalten.

Amazon weiß, dass diese Anfrage nicht von einem Browser stammt und blockiert sie. Diese Praxis ist bei vielen Websites üblich. Amazon kann Ihre Anfragen blockieren und einen Fehlercode zurückgeben, der mit 500 oder manchmal sogar 400 beginnt.

Eine einfache Lösung besteht darin, mit der Anfrage Header zu senden, die die von einem Browser gesendeten Header nachahmen.

Manchmal reicht es aus, nur den Benutzer-Agenten zu senden. In anderen Fällen müssen Sie zusätzliche Header senden, z. B. den Accept-Language-Header.

Um den von Ihrem Browser gesendeten Benutzer-Agenten zu finden, drücken Sie F12, öffnen Sie die Registerkarte Netzwerk und laden Sie die Seite neu. Wählen Sie die erste Anfrage aus und untersuchen Sie die Anfrage-Header.

Kopieren Sie diesen User-Agent und erstellen Sie ein Wörterbuch für die Kopfzeilen, wie in diesem Beispiel mit User-Agent- und Accept-Language-Kopfzeilen:

custom_headers = { '

user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, wie Gecko) Chrome/108.0.0.0 Safari/537.36',

'accept-language': 'en-GB,en;q=0.9',

}

Sie können dieses Wörterbuch dann als optionalen Parameter in der Get-Methode senden:

response = requests.get(url, headers=custom_headers

Scraping von Amazon-Produktinformationen

Beim Scraping von Amazon-Produkten haben Sie es in der Regel mit zwei Arten von Seiten zu tun: der Kategorieseite und der Produktinformationsseite.

Besuchen Sie zum Beispiel https://www.amazon.com/b?node=12097479011 oder suchen Sie nach Over-Ear Headphones auf Amazon. Die Seite, auf der die Suchergebnisse angezeigt werden, wird als Kategorieseite bezeichnet.

Auf der Kategorieseite werden der Produkttitel, das Produktbild, die Produktbewertung, der Produktpreis und vor allem die Produkt-URLs angezeigt. Um weitere Informationen, wie z. B. Produktbeschreibungen, zu erhalten, müssen Sie die Produktdetailseite besuchen.

Analysieren wir nun die Struktur der Produktdetailseite.

Öffnen Sie eine Produkt-URL, z. B. https://www.amazon.com/Bose-QuietComfort-45-Bluetooth-Canceling-Headphones/dp/B098FKXT8L, mit Chrome oder einem anderen modernen Browser. Klicken Sie mit der rechten Maustaste auf den Produkttitel und wählen Sie Untersuchen. Das HTML-Markup des Produkttitels wird hervorgehoben.

Sie werden feststellen, dass es sich um ein span-Tag handelt, dessen id-Attribut auf „productTitle“ gesetzt ist.

Klicken Sie in ähnlicher Weise mit der rechten Maustaste auf den Preis und wählen Sie Inspect, um die HTML-Auszeichnung des Preises anzuzeigen.

Die Dollarkomponente des Preises befindet sich in einem span-Tag mit der Klasse „a-price-whole“, während sich die Cent-Komponente in einem anderen span-Tag mit der Klasse „a-price-fraction“ befindet.

Auf die gleiche Weise können Sie auch die Bewertung, das Bild und die Beschreibung finden.

Sobald Sie diese Informationen gesammelt haben, fügen Sie die folgenden Zeilen in den bestehenden Code ein:

response = requests.get(url, headers=custom_headers)

soup = BeautifulSoup(response.text, 'lxml')

Beautiful Soup bietet eine eigene Methode zur Auswahl von Tags mithilfe der Find-Methoden. Alternativ dazu unterstützt es auch CSS-Selektoren. Sie können beide Methoden verwenden, um das gleiche Ergebnis zu erzielen. In diesem Tutorial werden wir CSS-Selektoren verwenden, eine universelle Methode zur Auswahl von Elementen. CSS-Selektoren sind mit fast allen Web-Scraping-Tools zum Extrahieren von Amazon-Produktinformationen kompatibel.

Jetzt sind Sie bereit, das Soup-Objekt zu verwenden, um bestimmte Informationen abzufragen.

Extrahieren von Produktnamen

Der Produktname oder -titel befindet sich in einem span-Element mit der id „productTitle“. Die Auswahl von Elementen mit eindeutigen IDs ist einfach.

Betrachten Sie den folgenden Code als Beispiel:

title_element = soup.select_one('#productTitle')

Wir übergeben den CSS-Selektor an die select_one-Methode, die eine Elementinstanz zurückgibt.

Um Informationen aus dem Text zu extrahieren, verwenden Sie das Attribut text.

title = title_element.text

Beim Ausdrucken können Sie einige Leerzeichen feststellen. Um dies zu beheben, fügen Sie einen Aufruf der Funktion .strip() wie folgt hinzu:

title = title_element.text.strip()

Extrahieren von Produktbewertungen

Die Gewinnung von Amazon-Produktbewertungen erfordert einen gewissen zusätzlichen Aufwand.

Erstellen Sie zunächst einen Selektor für die Bewertung:

#acrPopover

Anschließend verwenden Sie die folgende Anweisung, um das Element auszuwählen, das die Bewertung enthält:

rating_element = soup.select_one('#acrPopover')

Beachten Sie, dass der eigentliche Wert der Bewertung im Attribut title zu finden ist:

rating_text = rating_element.attrs.get('title')

print(bewertung_text)

# prints '4.6 von 5 stars'

Schließlich verwenden Sie die Methode replace, um die numerische Bewertung zu erhalten:

rating = rating_text.replace('out of 5 stars', '')

Extrahieren des Produktpreises

Der Produktpreis ist an zwei Stellen zu finden – unter dem Produkttitel und im Feld „Jetzt kaufen“.

Beide Tags können verwendet werden, um Amazon-Produktpreise zu extrahieren.

Erstellen Sie einen CSS-Selektor für den Preis:

#price_inside_buybox

Übergeben Sie diesen CSS-Selektor wie folgt an die select_one-Methode von BeautifulSoup:

price_element = soup.select_one('#price_inside_buybox')

Jetzt können Sie den Preis ausdrucken:

print(preis_element.text)

Bild extrahieren

Um das Standardbild zu extrahieren, verwenden Sie den CSS-Selektor #landingImage. Mit diesen Informationen können Sie die folgenden Codezeilen schreiben, um die Bild-URL aus dem src-Attribut zu erhalten:

image_element = soup.select_one('#landingImage')

image = image_element.attrs.get('src')

Extrahieren von Produktbeschreibungen

Der nächste Schritt bei der Extraktion von Amazon-Produktdaten ist die Beschaffung der Produktbeschreibung.

Der Prozess bleibt gleich – erstellen Sie einen CSS-Selektor und verwenden Sie die select_one-Methode.

Der CSS-Selektor für die Beschreibung lautet:

#productDescription

Damit können wir das Element wie folgt extrahieren:

description_element = soup.select_one('#productDescription')

print(beschreibung_element.text)

Handhabung der Produktauflistung

Wir haben uns mit dem Scraping von Produktinformationen beschäftigt, aber Sie müssen mit Produktlisten- oder Kategorieseiten beginnen, um auf die Produktdaten zuzugreifen.

Ein Beispiel: https://www.amazon.com/b?node=12097479011 ist die Kategorieseite für Over-Ear-Kopfhörer.

Wenn Sie sich diese Seite ansehen, werden Sie feststellen, dass alle Produkte in einem Div enthalten sind, das ein eindeutiges Attribut [data-asin] hat. Innerhalb dieses Divs befinden sich alle Produktlinks in einem h2-Tag.

Mit diesen Informationen lautet der CSS-Selektor:

[data-asin] h2 a

Sie können das href-Attribut dieses Selektors lesen und eine Schleife laufen lassen. Denken Sie jedoch daran, dass die Links relativ sind. Sie müssen die Methode urljoin verwenden, um diese Links zu parsen.

from urllib.parse import urljoin

...

def parse_listing(listing_url):

...

    link_elements = soup_search.select("[data-asin] h2 a")

    page_data = []

    for link in link_elements:

        full_url = urljoin(search_url, link.attrs.get("href"))

        produkt_info = get_produkt_info(vollständige_url)

        page_data.append(produkt_info)

Handhabung der Paginierung

Der Link zur nächsten Seite befindet sich in einem Link, der den Text „Next“ enthält. Sie können diesen Link mit dem contains-Operator von CSS wie folgt suchen:

next_page_el = soup.select_one('a:contains("Next")')

if next_page_el:

    next_page_url = next_page_el.attrs.get('href')

    nächste_seite_url = urljoin(auflistung_url, nächste_seite_url)

Amazon-Daten exportieren

Die ausgewerteten Daten werden absichtlich als Wörterbuch zurückgegeben. Sie können eine Liste mit allen ausgewerteten Produkten erstellen.

def parse_listing(listing_url):

...

page_data = [] for link in link_elements:

...

produkt_info = get_product_info( full_url)

page_data.append( product_info)

Sie können diese page_data dann verwenden, um ein Pandas DataFrame-Objekt zu erstellen:

df = pd.DataFrame(page_data)

df.to_csv('kopfhörer.csv', index = False)