staging.inyokaproject.org

Heyhu zusammen ☺

Ich stoße momentan auf ein kleines Problem, wo ich mir gerade nicht weiter zu helfen weiß ... vielleicht wisst Ihr ja weiter ☺

Für mehrere Projekte habe ich zum Teil große Datenbestände, welche via APT an einige clients verteilt werden. Nehmen wir als konkretes Beispiel eine Blacklist:

Die Blacklist ist eine einfache Textdatei mit URLs, dazu eine weitere mit DNS-Namen. Insgesamt ist sie über 22 Mb groß - also etwa so groß wie andere Debian-Pakete. NOCH steht der Repository-Server dafür auch im Hause, bald allerdings nicht mehr, d.h. die Updates dieser Liste müssen via Internet geladen werden. Heißt also mehrmals täglich 22Mb downloaden ... (1x pro Stunde)

Naja nun gibt es allerdings einen Haken: hier gibt es nur elendich langsames Internet ... daher wäre eine Reduzierung der Bandbreite recht sinnvoll ...

Daher stelle ich mir nun volgende Frage: ist es möglich mit .deb's "daily-", "weekly-", etc. Updates bereitzustellen?

Ich habe mir gedacht, dass über ein Paket "A" die komplette Liste heruntergeladen wird und dann das Paket "A-daily" lediglich die changes bereitstellen wird. Also müssste APT lediglich täglich das Paket "A-daily" updaten und damit hat es sich. Gleichzeitig würde allerdings das Paket "A" auch durch apt versucht werden zu updaten, da davon ja auch jeden Tag die jeweils aktuelle KOMPLETTE Liste erstellt wird. Das Paket auf hold setzten möchte ich allerdings nicht, da es für die Benutzer nicht zu umständlich sein sollte.

Folglich sollte ein "aptitude install blacklist-virus" die KOMPLETTE Liste downloaden und ein später ausgeführtes "aptitude upgrade" lediglich die changes seit dem letzten update abrufen.

Jetzt ist nur die Frage: ist das mit trickserei in den dependencies der Pakete möglich oder muss ich für diese Funktion einen aptitude patch schreiben?

Hi icewave,

es gibt noch eine viel einfachere und bessere Lösung: Debdeltas

Erstelle auf dem Server die debdeltas und lade dann die Updates inkrementell auf die Clients mit debdelta-upgrade. Damit wird sich die Transferrate wohl auf ein paar Kb beschränken.

Gruss Lasall

Diese Lösung hatte ich mir schon angeschaut, ich wollte sie aber nicht nutzen da hier ein extra "updater" genutzt wird und ich eigtl. nur die standartisierte APT Schnittstelle nutzen wollte...

Mal sehen in wie weit ich mich damit anfreunden kann...

Ein wesentliches Problem sehe ich darin das bei debdelta ja nur das ursprüngliche Paket "erneuert" wird, d.h. jeden Tag würde durch die postinst scripte die GESAMTE Liste gelöscht und dann neu eingestellt...

Hallo noch mal ☺

Ich habe bisweil noch keine bereits vorhandene Lösung gefunden. Deshalb hab ich mir nun selbst ein mal Gedanken zu dem Problem gemacht...

Ich habe nun vor, ein weiteres Tool zu schreiben - welches man bei Erfolg in DPKG integrieren könnte - welches ein .deb Paket nimmt, es temporär entpackt, dabei auch die Maintainer-Scripte ausführt (pre- und postinst) und anschließend (bei erfolgreichem Update) die entpackten Daten wieder entfernt und in der Datei /var/lib/dpkg/status die Versionsnummer des Paketes auf die neue erhöht.

Um herauszufinden für welches Paket das update bereitsteht möchte ich in der datei DEBIAN/control weitere Felder einfügen:

1
2

Updates-Package: openblacklist-advertisement # gibt an für welches Paket das Update bereitgestellt wird
Updates-Version: 2012.02.19                  # gibt an von welcher Version aus geupdatet wird

Somit sind die "neuen" Pakete auch kompatibel zu "alten" Debian-Paketen, da aptitude wie gewohnt einfach das Paket - hier openblacklist-advertisement - neu herunterladen und neu installieren wird, während eine gepachte Version nur das Update lädt und die Version aktuallisiert.

Ich möchte allerdings auch direkt klar stellen, das dieses "neue" System nicht dafür gedacht sein soll ein Paket oder eine Library zu updaten, sondern nur für sich täglich ändernde Daten wie z.B. Virendatenbanken für clamav, spamassasin oder wie hier im Beispiel eine Blackliste. Somit soll eine einheitliche Schnittstelle zur Verfügung stehen, die genutzt werden kann, ohne das jeder seinen eigenen Updater nutzen muss (ein stündliches aptitude upgrade auf einzelne Pakete beschränkt würde dann genügen statt mehreren Update-Daemons).

Vielleicht mag ja noch mal jemand seine Meinung dazu äußern, ich halte dies zum jetztigen Zeitpunkt für die Sinnvollste Idee, da so NICHT (wie bei debdelta) durch die postinst-Scripte die gesamte Virendatenbank aktuallisiert werden muss, sondern nur die entsprechenden Changes ausgeführt werden.

Lg Alex

Hi Alex,

wenn ich deine Idee richtig verstehe, dann braucht es zu einer erfolgreichen Integration einige Änderungen, die bei dpkg wäre noch das Geringste. Und zwar müssen insbesondere libapt, sowie dak angepasst werden, ersteres zum Verwalten der lokalen Paketliste und zweiteres zum Verwalten der Liste im Archiv. Bevor du aktiv an der Idee arbeitest, hole dir ein paar Meinungen von der debian-devel Mailingliste ein (Vorsicht Gegenwind). Es ist auf jeden Fall um einiges leichter, dir selbst einen Service für die Aktualisierung der Datenbank zu machen, als zumidnest dpkg und libapt anzupassen. clamav geht ja auch den Weg, die Virusdefinitionen über einen eigenen Service zu laden.

Gruss Lasall

Hey Lasall,

Danke für deine Rückmeldung ☺

Lasall schrieb:

Es ist auf jeden Fall um einiges leichter, dir selbst einen Service für die Aktualisierung der Datenbank zu machen, als zumidnest dpkg und libapt anzupassen. clamav geht ja auch den Weg, die Virusdefinitionen über einen eigenen Service zu laden.

Natürlich hast du Recht, dass es um einiges einfacher ist mal eben einen Update-Client zu schreiben, allerdings bin ich der Meinung, dass eine Standartisierte Schnittstelle auf Dauer effektiver für die Allgemeinheit sein wird um Entwicklern die Möglichkeit zu geben Updates einzuspielen, als wenn jeder seine eigene Suppe kocht... Also find ich zumindest das eine allgemeine Schnittstelle es weiter bringt als die eigene Suppe - dpkg ist ja auch um einiges einfacher als wie jeder Entwickler in Windows seinen eigenen Installer baut, oder? ☺

Lasall schrieb:

wenn ich deine Idee richtig verstehe, dann braucht es zu einer erfolgreichen Integration einige Änderungen, die bei dpkg wäre noch das Geringste. Und zwar müssen insbesondere libapt, sowie dak angepasst werden, ersteres zum Verwalten der lokalen Paketliste und zweiteres zum Verwalten der Liste im Archiv.

Eine Änderung der Versionsummer in /var/lib/dpkg/status bewirkt schon einmal, dass Aptitude & co erkennen, dass das Paket geupdatet wurde. Es fehlt dann natürlich noch die Logik um apt & co beizubringen, dass es update-packages gibt.

Folglich müssen also auch die Tags "Update-package, Update-Version" in den Standart mit aufgenommen werden und apt angepasst werden, dass es die Updates downloaded. Ich habe mir dazu gedacht, dass es sinnvoll wäre, wenn der Client einen Graphen zu den Updates aufbaut, und sich dann heraussucht welche Updates am effektivsten sind. Also wenn ich z.B. 8 Tage nicht geupdated habe, dass dann nicht alle 8 Tage sondern 1 weekly und 1 daily update geladen werden, oder irgendwann sogar doch aufgrund der Effektivität noch ein Mal die ganze Datenbank ...