Moderne Backuplösung mit Borg – Ein Backup Server für viele Clients

  • Borg eignet sich sowohl für Linux als auch für Windows als sichere, schnelle und platzsparende Backuplösung.
  • Ein zentraler Server, das Gateway, übernimmt die Verwaltung der Daten im Repository.
  • Je Repository werden die Daten in Archiven gelagert, die nach Name der Maschine und Zeitstempel benannt werden.
  • Das Repository selbst liegt auf einem per SMB angeschlossenen Speicher, beispielsweise ein NAS oder ein Cloud Speicher als Off-Site Lösung. Natürlich geht auch eine lokal Festplatte.
  • Kommunikation zwischen Clients und Server per SSH – sicher und schnell eingerichtet

„Moderne Backuplösung mit Borg – Ein Backup Server für viele Clients“ weiterlesen

Rspamd IP Whitelist (Ubuntu 16.04 LTS)

Ziel: Postfix Smarthost am Mail Gateway freischalten, damit Nachrichten vom Smarthost immer durchgehen. Das Setup[1] ist mal wieder von Thomas Leister, die Anbind läuft über ein VPN als Wartungsnetz[2], so dass trotz dynamischer IP am Router auch immer eine statische IP des Smarthosts gegeben ist.

Wie in [1] beschrieben kann das auch ohne statische IP Adresse funktionieren, allerdings muss man dann auf eine andere Whitelisting Variante ausweichen. Dazu siehe Rspamd Dokumentation Multimap Modul

Vorher:Nachher:

Schritt 1:
nano /etc/rspamd/local.d/multimap.conf
und folgenden Inhalt einfügen:

Diese Konfiguration für das Modul Multimap sorgt vor anderen Filtern  prefilter = true;  dafür, dass alle Mails, die von einer IP type= "ip";  auf der Liste ip.map  stammen durchgeleitet action = "accept";  werden.

Schritt 2:
nano /etc/rspamd/local.d/ip.map
und die gewünschte IP eintragen z.B.
fe80::c466:15ff:fe45::2/128

Schritt 3:

chmod … kann auch weggelassen werden, hier geht es nur darum später bequem über das Webinterface Änderungen an der Liste durchzuführen.

Im Rspamd Webinterface / Historie sollte nun für Nachrichten die über den Smarthost kommen als Score 0.00 stehen.

Fußnoten:

[1] https://thomas-leister.de/zentralen-mailserver-mit-weiteren-servern-nutzen/

[2] https://thomas-leister.de/hosts-wartungsnetz-peervpn/

Migration Mailserver nach Thomas Leister Version 2016 nach 2017 (von spamassassin zu rspamd)

Thomas Leister hat seine Anleitung für einen Mailserver aktualisiert und dabei unter Anderem einen Wechsel von der Amavis-Spamassassin-Razor Kombi und dem OpenDKIM Stack hin zum Rspamd beschrieben.

Die grundlegende Datenbankstruktur und der überwiegende Teil der Konfiguration bleibt identisch, so dass ich versuchsweise Rspamd einsetzen möchte um zu sehen wie die Ergebnisse sind.

Die Anleitung von Thomas ist für Debian, unter Ubuntu 16.04 LTS funktioniert sie jedoch genauso.

„Migration Mailserver nach Thomas Leister Version 2016 nach 2017 (von spamassassin zu rspamd)“ weiterlesen

Piwik: Apache2 Logfile Import

Für einige Seiten gibt es keine Piwik Plugins, eine Möglichkeit besteht dann darin die Apache Logs auszuwerten.

Dazu muss zunächst das richtige Logformat in der VHost.conf hinterlegt sein:

ein systemctl reload apache2 später sieht es dann so aus:

Damit man „saubere“ Logfiles in einem Format hat lohnt noch ein
logrotate -f /etc/logrotate.d/apache2

Wenn die Logfiles dann gefüllt sind kann man diese mit einem script importieren, bei mir ist es nur ein Logfile:

Evtl. kann man sich das sudo sparen wenn der Benutzer unter dem der cron dann läuft Zugriff auf die apache Logfiles und auf Piwik Dateien hat, man sollte jedoch NICHT www-data Zugriff auf die Logfiles oder schlimmer sudo erteilen!

 

Ubuntu KVM Host – Bridged Network mit MAC basierter IP-Adressen Vergabe

Dies ist eine kurze Zusammenfassung einer funktionierenden Netzwerkkonfiguration für einen Hetzner Root Server.

Der KVM Host ist ein Ubuntu 16.04 LTS mit statischer IP Adresse.

Die Gäste sollen über eine Bridge (IPv4 und IPv6) direkt mit dem Außennetz kommunizieren und ebenfalls statische Adressen nutzen.
Aufgrund des Netzwerksetups des Hosters müssen die Gäste dazu eine vorgegebene MAC Adresse bekommen.

Host Konfiguration

Host-Adresse: 5.9.153.108 bzw. 2a01:4f8:190:416b::2
Host-Gateway: 5.9.153.123 bzw. fe80::1
Host-netmask: 255.255.255.224 bzw. /64 Subnetz
Host-DNS: localhost (eigener Dienst)

Host: /etc/network/interfaces

virsh edit <vmname>:

Die mac Adresse steht im Robot, nachdem man für eine zusätzliche IPv4 Adresse diese angelegt hat.
Wichtig: Man kann auch für IPv6 im Robot eine Macadresse hinterlegen, diese muss aber die des Hosts (Haupt-Adresse) sein.

Gast Konfiguration

Hier: CentOS7
/etc/sysconfig/network-scripts/ifcfg-eth0

Eine Mac Adresse wird hier nicht angegeben, diese findet sich lediglich in der Config der VM siehe oben.

 

Festplattenausfall im Software RAID1

Normalerweise läuft der Server unauffällig im Hintergrund und als Hobby Admin schaut man auch nicht täglich in die Logs, Ausfälle und Probleme muss er also schon selbst mitteilen.

Die etwas ältere Hardware des guten Stücks legt ihre Daten auf zwei Magnetplatten ab, die im Software RAID1 laufen. Einer der beiden Platten hatte schon fast 38.000 Betriebsstunden auf der Uhr.

So meldete also Netdata gegen 13:57Uhr einen erhöhten Wert bei disk.backlog – also die Zeit die I/O Anforderungen des Systems brauchen um durch die Festplatte umgesetzt zu werden, aber nur für die zweite Platte.

Normal wäre für beide Platten aber das kommt nur bei DOS Angriffen oder in der Prüfungszeit vor, wenn alle Studis die Unterlagen aus der Owncloud gleichzeitig brauchen und der Cache nicht mehr alles bereithalten kann 🙂

Wenige Minuten später folgten Warnungen zu cpu.iowait – also die Zeit die der Prozessor auf Daten von der Festplatte wartet und für disk.utilization also die Auslastung der Festplatte. Zu dieser Zeit wechselte der Serverstatus der Webseiten im Uptimerobot auch schon auf Offline.

Der Raidstatus zeigte keine Auffälligkeiten ( cat /proc/mdstat) – beide Platten noch synchron.

Der Smartstatus sah auch nicht schlecht aus  ( smartctl -x /dev/sdb ) – allerdings war der letzte offline test auch schon ein paar tausend stunden her.
Anschieben mit: smartctl –test=long /dev/sdb
Das dauert dann erstmal ein paar Stunden.

In der Nacht folgten diverse Fehlermeldungen von smartd – dem Warndienst wenn SMART Werte nicht in Ordnung sind. Darunter einer zu CurrentPendingSector – was in etwa bedeutet, dass die Festplatte defekte Sektoren nicht „verschieben“ kann. Damit is spätestens klar: da muss eine neue rein.

Kaum 18Minuten nach Absenden des Tickets im Supportsystem war auch schon die neue Platte drin, das nenne ich mal flotten Service – danke liebes Support Team!

Nun ruckelts noch ein paar Stunden lang bis die beiden Festplatten wieder synchron sind, danach sollte alles wieder soweit laufen.

 

 

Statuspage bei Uptimerobot

Seit Kurzem muss man nicht mehr unbedingt den Umweg über die API nehmen und bekommt die Ergebnisse grafisch aufbereitet zur Verfügung gestellt.

Die Seite wird einfach im Dashboard erstellt, wobei man sich aussuchen kann ob alle vorhandenen Monitore oder nur ausgewählte angezeigt werden sollen.

Eine feine Sache für einen kostenfreien Dienst.

Quelle: Blogpost von Uptimerobot

Internet 2 Go – geht das schneller?

Es ist wieder einer dieser Tage an dem ich in aller Frühe im Zug sitze, mich auf einen Platz am Fenster mit Tisch freue und hoffe, dass der Hotspot im ICE läuft.
Nein tut er nicht. doch. nein. ein bisschen.

Also entweder tröpfeln jetzt die Daten über ICE Hotspot rein oder über EDGE.
Ein stabiles VPN ist unter diesen Umständen nicht drin und der Hotspot draußen.

Bleibt noch der persönliche Hotspot, aber Surfen über EDGE ist wirklich keine schöne Geschichte. Irgendwie muss man das doch beschleunigen können.

Idee: SOCKS Proxy mit Kompression über SSH
Man braucht:
Halbwegs stabile Mobilfunkverbindung
SSH Server
Putty

Erfahrung: Solange die Mobilfunkverbindung nicht länger abreißt, als das Timeout der SSH Verbindung, ist es gut nutzbar.

Wie konfiguriert man das nun?
Die Option für Kompression befindet sich bei Putty im Einstellungsbaum der Verbindung unter Connection->SSH: „Protocol Options“ -> Enable compression.

putty_compress
Den SOCKS5 Proxy hat Putty eingebaut, unter Connection->SSH->Tunnels:
SourcePort z.B. 1080, Destination bleibt leer, Haken bei Dynamic& Auto

putty_dynamic

Nächster Schritt: Firefox->Einstellungen->Erweitert->Netzwerk->Proxy->SOCKS
localhost und 1080 eintragen & externer DNS aktivieren

firefox_proxy

Spass:
Speedtest ausprobieren, mit SOCKS (mit 4G)

speedtest

Speedtest ohne SOCKS

speedtest_ohne

Wie man sieht kann man damit völlig unsinnige Ergebnisse produzieren.
Lediglich die Pingzeiten passen ganz gut.

Zusammenfassung:
Hauptsächlich ist es eine Spielerei, gefühlt gehen textlastige Webseiten und E-Mails schneller. Ob das nun an der Kompression, den flotteren DNS Abfragen dank Unbound oder anderen Effekten liegt kann ich nicht sagen.

Optimierungsmöglichkeiten:
Für den Testaufbau habe ich einen vorhandenen SSH User genutzt, der über pageant mit key keine Eingabe für den Verbindungsaufbau braucht.
Das bietet die Möglichkeit eines schnellen Wiederaufbaus nach Verbindungsverlust.
Will man das dauerhaft, vielleicht auch für interessierte Freunde, einbauen lohnt es sich einen extra User anzulegen, der nur die SOCKS Möglichkeiten nutzen darf und sonst nichts.
Einige Hinweise dazu finden sich im Ubuntu Forum.

 

 

 

 

 

Windows 10 Build 1511 – Langsames Netzwerk (Ausgehend) / Very Slow Network (Outgoing)

Situation: Dual-Boot PC mit Window 10 Pro und Ubuntu 16.04 sendet Daten zu einem Ubuntu 16.04 NAS äußerst lahm – Empfang geht super.

Lösung: Geräte-Manager -> Netzwerkadapter -> Eigenschaften -> Erweitert -> Large Send Offload v2 […] -> Disabled

Ich habe es sowohl für IPv4 als auch IPv6 deaktiviert, da bei mir der Fehler im IPv6 aufgetreten ist. Möglicherweise hängt es mit der von mir verwendeten Bitdefender Endpoint Security Tools zusammen, wie der Artikel ganz unten beschreibt, allerdings konnte ich das mit deaktivieren der Firewall usw. nicht nachvollziehen.

windows10 Geräte Manager

Vorher:
Datentransfers per SMB & SFTP
unter Windows:
~25-35KByte / s Ausgehend
unter Linux:
~40-60MByte / s

Nachher:
Mein Netzwerk Layout: Gigabit, beide Rechner per Kabel, Switch mit Jumbo Frame Support.
Zusäztlich: Jumbo Frame auf max. gesetzt.
Ergebnis: ~80-99MByte/s
Solange der Switch und alle Beteiligten die Jumbo Frames unterstützen klappt das gut, bei mir gab es allerdings im späteren Verlauf Probleme beim Streamen über Steam. Nach etwas Basteln hat sich herausgestellt, dass Jumbo Frames bspw. von der Fritzbox nicht gemocht werden.

Siehe: AVM Artikel zu Jumbo Frames

Quellen:
Bitdefender LOS Artikel

Hardware Dev Center zu LOS

Update: 11.09.:
– kurze Ergänzung zum Setup & Bild

Update: 13.09.
Mehr Infos zu Jumbo Frames

Vaduzz Mail Service – Roundcube Sieve Filter anlegen

Die meisten von uns bekommen täglich Mails von Webseiten auf denen wir angemeldet sind. Von Amazon bis Zalando kommen News, Angebote oder auch einfach nur Rechnungen. Diese Mails kann man mühsam jedes Mal von Hand in einen Ordner verschieben (oder löschen, was technisch auch erstmal nur verschieben ist)

Oder man überlässt es seinem Postfach (also dem Vaduzz Server) das diese gleich in den passenden Ordner einsortiert, damit nicht einfach alles im Posteingang landet.

Dazu gibt es im Webmailer „Roundcube“ eine recht konfortable Möglichkeit den Filter (Sieve) einzustellen:

Im Tab Einstellungen -> Zeile Filter auswählen und in der mittleren Spalte aufs „Plus“ unten. Dann noch die gewünschten Daten (man kann beispielsweise nach Absenderadresse oder Betreff auswählen) eintragen und den Zielordner im Postfach auswählen.
Speichern und schon sind wir fertig.

Roundcube_Sieve