Synchronizacja plików pomiędzy dwoma serwerami przy wykorzystaniu lsyncd

This post is available only in polish language.

Tworząc aplikacje webowe często zdarza się, że chcemy uruchamiać je na większej ilości serwerów, czy to w celu redundancji czy rozłożenia obciążenia. O ile z bazami danych sytuacja jest prosta i możemy skorzystać z wbudowanej w MySQL-a replikacji danych, o tyle z plikami zapisywanymi w systemie jest już nieco gorzej. Pierwsze co przychodzi na myśl to rsync, ale musi być on odpalany np. na cronie co zadany interwał, co niepotrzebnie zabiera zasoby systemowe. Skuteczniej było by podejmować akcję synchronizacji, dopiero w momencie jakichkolwiek zmian w plikach z interesujących nas lokalizacji. Taką funkcjonalność zapewnia lsyncd. Działa on jako demon i wykorzystuje system zdarzeń inotify do monitorowania zmian w plikach i podejmowania ewentualnej akcji. Synchronizacja plików może być w ramach tego samego serwera lub mogą być one synchronizowane z systemem zdalnym. Konfiguracja tego oprogramowania jest bardzo prosta i sprowadza się do kilku kroków:

• zainstalowanie, właściwymi dla systemu poleceniami, pakietu lsyncd w wersji >=2.06
• wygenerowanie na obu serwerach kluczy ssh
• dopisanie klucza publicznego przeciwnego serwera do zaufanych w pliku ~/.ssh/authorized_keys2
• wykonanie połączenia ssh do przeciwnego serwera w celu zaakceptowania kluczy (zostaną dopisane do pliku ~/.ssh/known_hosts)
• wyedytowania pliku /etc/lsyncd.conf i dopisania do niego zawartości:

sync {

    default.rsync,

    source = "/home/user/files/",

    target = "root@192.168.1.1:files/",

    rsyncOpts = "-ltus",

    delete = false,

    delay = 5,

}

  na drugim serwerze tworzymy taki sam plik tylko z oczywistych względów ustawiamy IP pierwszego serwera w polu "target"

• uruchomienia na obu serwerach demona lsyncd:

      lsyncd /etc/lsyncd.conf


Należy zwrócić uwagę na parametr "delete" i opcję rsyncOpts. Pierwszy z nich wyłącza usuwanie plików nieistniejących na drugim serwerze. Jest to o tyle ważne, że w przypadku kiedy mamy działający serwer i dostawiamy drugi, konfigurując go od zera, może zaistnieć sytuacja, że na nowym serwerze nie mamy plików w ścieżce synchronizacji, ponieważ są one na bieżąco uploadowane na serwer nr 1. Wtedy odpalenie lsyncd na drugim serwerze spowoduje usunięcie plików na serwerze nr 1. Oczywiście możemy zatroszczyć się o pliki i przegrać je z serwera 1 na 2 i dopiero wtedy odpalić lsyncd - wtedy opcja "delete" nie jest nam potrzebna. Uważam jednak, że taka konfiguracja nie jest bezpieczna. Z kolei parametr "rsyncOpts" ustawia opcję z jakimi będzie odpalony rsync (w podanej konfiguracji jest on wykorzystywany do synchronizacji). Domyślnie ma on wartość "-lts" natomiast dodatkowe "u" powoduje, że pliki z nowszymi czasami modyfikacji nie będą nadpisywane starszymi wersjami. Wspomnę jeszcze parametr "delay" -  odpowiada on za opóźnienie z jakim lsyncd zacznie synchronizować pliki.

Lsyncd może też działać w trybie nie-demona oraz przyjmuje parametry z linii poleceń. Pozwala to na łatwe zdebugowanie problemów. Aby zapoznać się ze szczegółami polecam sięgnąć do dokumentacji.

Konwersja maszyny wirtualnej HVM na PVM w Citrix XenServer

This post is available only in polish language.

Jeśli posiadamy uruchomione na serwerze wirtualne maszyny korzystające ze sprzętowej wirtualizacji, może zajść potrzeba ich konwersji na wersję parawirtualizowaną. Np. w celu przeniesienia ich na serwer nie posiadający wsparcia dla sprzętowej wirtualizacji. Poniżej opis jak to zrobić dla Citrixa XenServer w wersji 6 (przynajmniej na takiej testowałem)


1. znajdujemy uid maszyny do konwersji
          xe vm-list name-label=<nazwa>

2. edytujemy bootloader partycji z poziomu Dom0
          xe-edit-bootloader -u <uuid> -p <numer partycji np=1>
  lub z poziomu systemu
          vi /boot/grub/grub.conf

3. tworzymy wpis z jądrem linuxa przygotowanym pod xena (należy najpierw zainstalować odpowiedni pakiet) i ustawiamy parametr "default" na ten wpis
     title Xen Kernel
     root    (hd0,0)
     kernel  /boot/vmlinuz-2.6.24-19-xen ro root=LABEL=/ quiet splash
     initrd  /boot/initrd.img-2.6.24-19-xen
     quiet

4. wykonujemy następujące polecenia z poziomu Dom0
     xe vm-param-set uuid=<uuid> HVM-boot-policy=
     xe vm-param-set uuid=<uuid> PV-bootloader=pygrub
     xe vm-param-set uuid=<uuid> PV-args="console=hvc0"

5. ustawiamy dysk maszyny wirtualnej jako botowalny
     xe vm-disk-list uuid=<uuid>
     xe vbd-param-set uuid=<vbd uuid> bootable=true

6. odinstalowujemy "zwykły" kernel - w moim przypadku po aktualizacji był on ustawiany jako domyślny, system nie startował i trzeba było edytować parametry gruba (jak w pkt.2)

To właściwie wszytko co mi było potrzebne, żeby zmienić tryb wirtualizacji dla moich maszyn Linuxowych. W przypadku problemów więcej informacji można znaleźć pod poniższymi adresami:

http://blogs.citrix.com/2008/07/02/installing-ubuntu-on-xenserver/

http://forums.citrix.com/thread.jspa?threadID=254640

Mikrotik scripts for keeping configuration synced between two different Mikrotik routers.

Ten post jest dostępny jedynie w języku angielskim.

I've faced problem how to setup backup router that can be easily (but manually) switched to act as main. I have two routers - RB1000 and RB750. They are different platforms and I can't just backup config on RB1000 and restore it on RB750. Additionally RB750 have one more ethernet interface which I use to detect if router acts as main router. If additional interface (configurable in script) is running (cable is connected) router will act in "backup" mode, otherwise it will be in "running" mode. My solution consists of two separate scripts - 1. mikrotik-sync-config.py 2. set-backup-mode Ad.1 This script cares about config on backup router to be the same (as much as possible) as on main router (RB1000). It's configurable - you can setup what from main router config to omit, while importing on backup router. Ad.2 This script runs on scheduler on backup router. It detects cable at specified interface (SI) and setups router in "backup" or "running" mode. In "backup" mode all interfaces except SI and all schedules are disabled. When cable is removed from SI, script switches router into "running" mode what means it's enabling interfaces and schedules You can find scripts here -> https://github.com/codepill/script-utilities/tree/master/mikrotik

Mikrotik script for monitoring Internet connection and using backup connection when primary is dead

Ten post jest dostępny jedynie w języku angielskim.

Idea is simple. Script (I run it every 2 minutes via scheduler) sends ping to 3 defined locations. When all 3 locations are dead it supposses that connection is broken somewhere outside. In this case script enables firewall mangle rule that marks packets with 'failover' label. In routing table you have to add routing for 'failover' label using your backup interface. You have to add 'failover' routing for all your local interfaces - otherwise you local routing won't work when main connection will be dead.

You have to setup few variables at the beginning of the script and 'backupinterfacename' in the script body.

You can find script here -> https://github.com/codepill/script-utilities/blob/master/mikrotik/connection-watch

Backuping and restoring repositories in GitHub

If you lack of free private repositories in GitHub you have two options - buy higher plan or delete one of existing repositories. Second option isn't bad (you can reimport repostiory in future from local copy) but you will loose all addtional information - wiki, issues etc. Facing this problem I've written scripts for backup and restore almost all informations from GitHub that can be obtained. Theses scripts use GitHub API v 3 and 'git' command. You can find them here:

https://github.com/codepill/script-utilities/tree/master/github-repository-tools

Please read README file before use.

Jeśli brakuje Ci wolnych prywatnych repozytoriów w Githubie masz dwie możliwości - zakupić wyższy plan lub usunąć jedno z istniejących repozytoriów. Opcja druga nie jest zła (możesz potem zaimportować repozytorium z lokalnej kopii) ale stracisz wtedy wszystkie dodatkowe informacje powiązane z repozytorium - wiki, issues itd. Stojąc przed tym problemem napisałem w Pythonie skrypty do backupowania i przywracania większości informacji o repozytorium z Githuba. Skrypty te korzystają z API w wersji 3 oraz z polecenia 'git'. Skrypty możesz znaleźć tutaj:

https://github.com/codepill/script-utilities/tree/master/github-repository-tools

Przed skorzystaniem przeczytaj plik README.

MIUI i kolorowy bash

This post is available only in polish language

UWAGA! Wszystkie operacje wykonujesz na własne ryzyko.

Korzystam czasem z terminala w MIUI i wkurzał mnie domyślny shell - nie ma kolorów, uzupełniania składni po naciśnięciu TAB-a itd. To wszystko jest dostępne jeśli odpalimy konsolę w Open Recovery. Postanowiłem wykorzystać powłokę bash z OR tak, żeby była dostępna po odpaleniu terminala. Plik powłoki jest dostępny w katalogu /sdcard/OpenRecovery/sbin (zakładając domyślny katalog, do którego wypakowaliśmy OR), ale ten system plików jest zamontowany w sposób uniemożliwiający wykonywanie plików, które są na nim umieszczone. Tak też powinno zostać, dlatego skopiujemy sobie potrzebny plik do głównego systemu plików. W tym celu wykonujemy następujące operacje (zakładam, że używamy Terminal Emulatora i mamy zrootowany telefon):
- wchodzimy na roota
  su
- przemontowujemy system plików /system w trybie odczytu/zapisu
  mount -o remount,rw /system
- kopiujemy plik powłoki
  cp /sdcard/OpenRecovery/sbin/bash /system/xbin/
- przemontowujemy system plików /system w tryb domyślny - czyli tylko do odczytu
  mount -o remount,ro /system
I to tyle. Teraz wpisanie polecenia bash powinno poskutkować odpaleniem tego shella. Możemy też wejść w opcje Terminal Emulatora i zamienić domyślne ustawienie powłoki z

  /system/bin/sh -

na
  /system/xbin/bash -

dzięki czemu będziemy mieli odpalonego basha od razu po uruchomieniu Terminal Emulatora. Niestety po wydaniu polecenia su znów odpali się nam zwykły shell a nie bash i będziemy musieli odpalić go ręcznie. Pewnie da się to zmienić, ale teraz już mi się nie chce z tym walczyć.

 

MIUI 1.9.30 i problem z klawiaturą fizyczną

This post is available only in polish language

W nowej wersji MIUI 1.9.30 dla Milestone popsute zostało mapowanie klawiszy dla klawiatury fizycznej. Żeby to naprawić należy wykonać następujące operacje:

- restartujemy telefon i wchodzimy do OR
- odpalamy konsolę
- wchodzimy w edycję pliku
  vi /system/etc/rootfs/default.prop
- dopisujemy na końcu linię
  persist.sys.keypad_type=euro_qwerty
- zapisujemy i restartujemy

Dla niezaznajomionych z vi kilka pomocnych wskazówek:
- po otwarciu pliku przechodzimy strzałkami na ostatnią linię i naciskamy klawisz 'o' - spowoduje to wejście w tryb edycji przy czym kursor pojawi się w nowej linii
- znak '_' otrzymujemy przytrzymując 'alt' i naciskając 'c'
- wyjście z trybu edycji uzyskamy przytrzymując klawisz 'menu' (ten obok prawego alta) i naciskając znak '?'
- zapisanie zmian uzyskamy naciskając ':' oraz wprowadzając 'x' i naciskając enter
- anulowanie zmian bez zapisywania - ':'  a następnie 'q!' i enter