Open Source im professionellen Einsatz

Web-Crawler Ebot 0.3 spricht mit Datenbank Riak

31.05.2010

Der verteilte Web-Crawler Ebot ist in Version 0.3 verfügbar.

111

Neben Apache CouchDB kann die in Erlang geschriebene Software nun auch die No-SQL-Datenbank Riak als Backend verwenden. Daneben gibt es neue Optionen für die Verbindung zu Datenbank- und Queue-Servern im Netzwerk.

Ebot speichert die Daten zu den untersuchten URLs in einer No-SQL-Datenbank, die sich über eine REST-Schnittstelle abfragen lässt. Die noch zu besuchenden URLs reihen sich in eine AMQP-Queue ein. Dank der verteilten Architektur können mehrere Ebot-Crawler parallel laufen.

Die Ebot-Software ist unter GPLv3 lizenziert und verwendet freie Komponenten wie beispielsweise die HTTP-Bibliothek Mochiweb und das REST-Toolkit Webmachine. Einen Überblick über die Ebot-Architektur gibt eine Webseite des Entwicklers Matteo Redaelli, der Quellcode ist in einem Github-Repository zu finden.

Ähnliche Artikel

  • No-SQL-Datenbank Riak 2.0 mit neuen Features

    Mit Version 2.0 erfährt die No-SQL-Datenbank Riak zahlreiche Neuerungen und Änderungen, die sämtliche Bereiche betreffen. Dazu gehören unter anderem die Suche, die Sicherheit und die Konsistenz der Daten.

  • Riak CS

    Amazons Onlinestorage-API S3 kann man auch ohne den Internetkonzern verwenden: Das freie Riak CS baut auf einer verteilten Datenbank auf und bringt flexiblen Cloudspeicher auf die eigenen Server.

  • Jaspersoft 4.5 bindet Big Data und NoSQL an

    Der Hersteller Jaspersoft hat seine gleichnamige Business-Intelligence-Software in Version 4.5 mit neuen Features veröffentlicht.

  • Suchmaschine

    CMS, Wiki, Word-Files, … – selbst bei größter Disziplin aller Mitarbeiter kann kein Unternehmen seine Daten so strukturiert speichern, dass jedes Detail zügig auffindbar bleibt. Was tun? Aus den Apache-Projekten Solr, Nutch und Lucene eine eigene sauschnelle Suchmaschine bauen.

  • NoSQL-Datenbank Cassandra erneuert Abfragesprache

    Die freie NoSQL-Datenbank Apache Cassandra ist in Version 1.1 mit einigen Verbesserungen erhältlich.

comments powered by Disqus

Ausgabe 01/2017

Digitale Ausgabe: Preis € 6,40
(inkl. 19% MwSt.)

Artikelserien und interessante Workshops aus dem Magazin können Sie hier als Bundle erwerben.