Archiv

Artikel Tagged ‘YaCy’

Homeserver – YaCy Suchmaschiene

12. Juli 2013 1 Kommentar

Da gibt es Sachen im Internet :).
Zum Beispiel kann man helfen eine dezentrale Suchmaschine zu erstellen.

YaCy verwendet ein Peer-to-Peer System zum Crawlen und Suchen mit Hilfe von verteilten Hash Tabellen.

Setup:

Nun zur Installation am Heimserver.

Software

Ist für Debian recht einfach durch das verfügbare Repository welches nur eingebunden werden muss womit man die Software dann installiert.

echo 'deb http://debian.yacy.net ./' >> /etc/apt/sources.list.d/yacy.list
apt-get update

Nun braucht YaCy ein JavaRuntimeEnvironment. Haben mich hier für die openjdk-7-jre entschieden.
apt-get install -y openjdk-7-jre
Es hat jedoch einiges mehr an Abhängigkeiten als die v6 somit bitte Speicher beachten. Somit ist es wohl doch besser auf das „default-jre“ von Debian zurückzugreifen welches aktuell auf openjdk-6-jre zeigt.

Jetzt kann auch schon YaCy selbst installiert werden.
apt-get install --force-yes yacy
Weil das Paket nicht signiert ist muss das YES forciert werden bzw. händisch über aptitude installiert werden.

Während des Setups werden noch folgende Abfragen gemacht.

  • Peername
  • Adminpasswort
  • RAM Startlevel
  • Max RAM

Fertig der Server rennt und kann nun über http://server.name:8090 erreicht werden.

Einstellungen

Threadanzahl

Zunächst stell ich mal die möglich Threads herunter.
Administrator->Admin Konsole->Erweiterte Einstellungen->Performanceeinstellungen für Puffer und Prozesse->Threadpool-Einstellungen
Habe ich beides auf 50 gesetzt.

Crawler

Nun kann die erste webseite zum Crawlen eingetragen werden.
Administrator->Crawler / Harvester->Seiten Crawl Start
Dann noch den „Starten neuen Crawl“-Button drücken und loss geht das Framen.

RAM Verbrauch

Falls man den Java RAM Start Wert im nachhinein veränder möchte muss man das wie folgt tun:
Webinterface->Administrator->Admin Konsole->Erweiterte Konfiguration->javastart_Xms Wert entsprechend verändern.
Der darunter liegende Xmx-Wert ist der Max RAM Wert welcher jedoch auch über das Webinterface zu finden und ändern ist:
Webinterface->Administrator->Admin Konsole->Leistung->Speicher Einstellungen

HDD Beschränkung

Man kann dies Leider nur indirekt tun:
Webinterface->Administrator->Admin Konsole->Leistung->Ressourcen Beobachter
Womit der frei zu haltende Speicher gesetzt wird.
Der Proxy Cache kann direkt gesetzt werden:
Webinterface->Administrator->Indexverwaltung->Web Cache->HTCache Konfiguration

Delays

Es gibt weitere Möglichkeiten das knackige Rauschen auf der Leitung etwas zu drosseln. Zb. durcheingebaute Verzögerungen welche man über folgenden Befehl setzen kann:
Webinterface->Administrator->Admin Konsole->Leistung->Onlinezugriff Verzögerung Einstellungen:
Hier können Verzögerungen für den Proxy, die Lokale- sowie die Globale Suche gesetzt werden. Zu Testzwecken mal auf 10:50:1000 gesetzt. Um meine dünne Netzleitung nicht zu überlassten.

DHT

Apropos Netzleitung da der DHT ja ständig kommuniziert habe ich mal das herunterladen vom Index deaktiviert.
Webinterface->Administrator->Admin Konsole->Netzwerk konfiguration->Verteiltes Rechnen Netzwerk für die Domain->Peer-to-Peer Modus->Index-Empfang
Häckchen raus und hoffentlich wird nun mein Raid nicht nur mit dem Index gefüllt, der Homeserver soll doch nicht nur für den Index drauf gehen. Dies wird vermutlich auch solange bleiben bis man den Gesamtfestplattenspeicherverbrauch setzten kann.

Integration

Lighttpd

Wie alle Dienste auf meinem Server möchte ich auch diesen per Link erreichen können. Also habe ich dem Lighty wieder einen Redirect hinzugefügt.

url.redirect += ("^/yacy" => "http://server.name:8090/")

Einfach in die entsprechende CONF-Datei schreiben.
Noch einen Ordner erstellen und fertig ist die Geschichte.
mkdir /var/www/yacy

Pirelli

Um den Server von außen zugänglich zu machen, und somit den Peer zu einem Senior zu machen, muss der Port 8090 freigegeben werden. Genauere Beschreibung auf der Pirelli Seite.
Zum Testen kann der offenen Port noch über eine beliebige Open Port Webseite getestet werden.

Links:

Wikipedia Artikel
YaCy Setup How To