Die Techniker der nichtkommerziellen Nachrichtenseite Pro Publica haben mit Upton ein Open-Source-Framework zum Extrahieren von Inhalten aus Webseiten veröffentlicht.
Die Pro-Publica-Macher nutzen selbst die Technik des Webscraping, heißt es in der Upton-Ankündigung: Sie extrahieren Textteile per Software aus anderen Webseiten, um automatisiert Informationen zu gewinnen, insbesondere die Überschriften aus Übersichtsseiten.
Upton ist in Ruby geschrieben und verlangt auch vom Nutzer Kenntnisse in der Programmiersprache. Im Code benutzt der Anwender dann eine Ziel-URL (oder ein Liste solcher) sowie einen CSS-Selektor oder einen XPath-Ausdruck, um die gewünschten Seitenbestandteile zu adressieren. Upton verwendet einen Cache, um bereits gescrapte Seiten zu speichern und sendet aus Höflichkeit nicht mehr als einen HTTP-Request in 30 Sekunden an die Zielseite. Das Framework kann seine Funde in eine CSV-Datei schreiben und bringt fertige Prozesse für Tabellen und Listen mit, die der Anwender aber durch selbst geschriebene Code-Blocks ersetzen kann.
Weitere Informationen gibt es auf der Upton-Github-Seite. Der Quellcode steht unter MIT-Lizenz, am einfachsten lässt sich das Framework als Rubygem installieren.
