Backup przyrostowy profilu

[Szpak]

Witam


Staram się robić kopię mojego profilu pocztowego w miarę regularnie, ale ze wzgledu, że zajmuje on ponad 500MB, a ja dysponuję ograniczoną przestrzenią dyskową robienie go codziennie (kompresja + archiwizacja) są dosyć niewygodne i zajmują sporo czasu.

Z natury plikow z pocztą ich zawartosc mało się zmienia i zazwyczaj dochodzą nowe wiadomości. Właściwie bez względu na ilość posiadanych listów diff po takim pliku jest bardzo mały (a że są to pliki tekstowe robi się bardzo szybko). Bardzo wydajne byłoby robienie w takim przypadku raz backupu całościowego (np.raz na tydzień) i codziennie backupu przyrostowego.

Niestety standardowy linuksowy diff kiepsko radzi sobie z dodawanie/usuwaniem plikow/katalogow (a to czasem się zdarza), więc "diff -r" (nawet z opcja -N) nie wydaje sie byc idealnym narzedziem do tego (szczegolnie, ze czesc plikow w profilu jest binarna).


Istnieje jakieś ciekawe narzędzie, którym można dokonać przyrostowej kopii całego drzewa katalogów z profliem Thunderbirda?


Z góry dzięki
Marcin

[_grzegorz_p_]

wątek stary datą, ale problem (przynajmniej dla mnie) nadal aktualny...

czy ktoś z Was wie jak można sobie z tym poradzić?

[Szpak]

czy ktoś z Was wie jak można sobie z tym poradzić?

Jak to zwykle bywa na fajne rzeczy trafia się zupełnie przypadkiem.
Kilka dni temu przeglądając znaleziony na freshmeacie frontend do dosboxa, w sekcji linkow/uzytych programow znalazlem cos wygladajacego interesująco - rdiff-backup (http://www.nongnu.org/rdiff-backup/).

Ten soft robi nawet wiecej niz proponowalem w pierwotnym poscie. Sam potrafi archiwizowac cale struktury katalogow (razem z prawami i [sym|hard] linkami), robic backup przyrostowy i wykorzystywac do tego zdalna maszyne (przy okazji calkiem optymalnie wykorzystywac lacze).

Przed postem tutaj chcialem sie nim troche pobawic, bo na chwile obecna uzywalem go tylko do testowych katalogow (np. troche mniejszy profil do Psi). Niemniej wyglada bardzo fajnie i calkiem stabilnie (choc mam nadzieje, ze autorzy dodadza jeszcze kilka fajnych opcji w przyszlosci).

Soft jest pisany dla Linuksa, ale wg strony ludzie zglaszaja, ze dziala niezle takze pod Windowsem (Python).

Jezeli bedziecie mieli pozytywne (badz negatywne) doświadczenia z tym softem, to napiszcie ku chwale programu (lub przestrodze dla innych)


Marcin

[Grzegorz]

Takie rzeczy to nawet dosowym zipem czy rarem można zrobić.

Wystarczy odpowiedni parametr, który dodając nowe pliki do archiwum pomija już istniejące + zastępuje istniejące ich nowszymi wersjami...

Poza tym w internecie aż roi się od program do backupu danych.

[Szpak]

Takie rzeczy to nawet dosowym zipem czy rarem można zrobić.
Wystarczy odpowiedni parametr, który dodając nowe pliki do archiwum pomija już istniejące + zastępuje istniejące ich nowszymi wersjami...

Czasy DOSa pamietam, ale "normalne" kompresory juz chyba nie usuwaja wykasowanych plikow oraz jezeli zmienilo sie 10 bajtow z pliku 500MB to przepakowywuje calosc i, co fajne w rdiff-backup pozwala wyciagnac snapshot z kazdej wersji (przy bardzo malym narzucie).

Poza tym w internecie aż roi się od program do backupu danych.

Przejrzalem ich trochę, ale funkcja robienia diffa na pojedynczych plikach (a nie incremental na podstawie "dodany zostal plik") nie jest zbyt popularna, szczegolnie w darmowych toolach dzialajacych (takze) pod Linuksem (jezeli znasz takiej fajen alternatywy, odpowiadajace moim wymaganiom podanym w pierwszym mailu, albo cos lepszego od rdiff-backup to daj linki, chetnie spojrze).
Napisalem o rdiff-backup, bo szukalem czegos takiego duzo, a on robi to co chcialem, a takze sporo wiecej.

[Grzegorz]

Nie wiem, czy Rsync jest lepszy od rdiff-backup (no w każdym razie wcześniej znalazłem rsync i już do niego przywykłem). No i gównie używam go do robienia kopii zapasowych innego typu danych, no ale myślę, że i w tej sytuacji by się sprawdził

Bodajże przełącznik -t oraz --delete modifiers i efekt powinien być taki sam. Z resztą program ma wielkiego manuala i kilka poradników na różnych forach (w tym na ubuntu.pl).

Kiedyś szukając dodatkowych informacji na ten temat natknąłem się na genialny artykuł "Tworzenie kopii zapasowych i odtwarzanie systemu w systemie Linux" napisany w oparciu o książkę Carli Schroder ' Linux. Receptury'.

Dzięki Rsync mogę tworzyć kopie czego tylko dusza zapragnie. Poniżej wklejam artykuł-wprowadzenie, odczytany ze zrozumieniem pozwala na dość dużo. Może trochę off-top ze względu na potencjalną skalę zastosowań, ale od przybytku głowa nie boli. No i może komuś się przyda...

Wprowadzenie

Po co miałbym tworzyć kopie zapasowe ?
Tworzenie kopii zapasowej systemu jest jedną z najważniejszych umiejętności, jakie powinna posiadać osoba obsługująca na co dzień komputer. Każdy, kto miał do czynienia
z systemem operacyjnym wie, jak łatwo jest go uszkodzić, a najlepiej wiedzą to użytkownicy systemów Uniksowych. Szczególnie w gronie początkujących zapaleńców systemu Linux znajdują się osoby, które na własnej skórze przekonały się, że wystarczy dosłownie kilka nieodpowiednich komend i system nadaje się do jednego... reinstalacji. Można się jednak przed tego typu wypadkami zabezpieczyć; z pomocą "przychodzą" nam programy: Rsync i Mondo Rescue. Dzięki tym programom będziemy mogli łatwo tworzyć kopię bezpieczeństwa naszego Linuksa, co pozwoli nam przywrócić system w momencie, gdy nie będzie nadawał się już do niczego.

Rsync
Jest to jedno z najlepszych narzędzi służących do wykonywania kopii zapasowych. Kopiuje jedynie zmienione pliki i potrafi dokonywać kompresji danych "w locie". Potrafi także odzwierciedlać usuwanie plików. Doskonale nadaje się do synchronizacji drzew katalogów i plików, dzięki czemu możemy go używać do tworzenia kopii zapasowych serwisów www, czy drzew CVS.
Możemy korzystać z programu na dwa sposoby:
Przez SSH, dzięki czemu będziemy przesyłać pliki w sposób uwierzytelniony.
Drugi sposób to używanie programu jako demona, bez pośrednictwa SSH.
Jeśli zamierzamy korzystać z SSH, musimy mieć konta na każdym komputerze, do którego chcemy mieć dostęp. Jeśli jednak zdecydujemy się na korzystanie z programu jako demona, możemy wykorzystać wbudowane w niego metody uwierzytelniania.

Mondo Rescue
Możemy za jego pomocą stworzyć kopię zapasową systemu i nagrać ją na płytę CD/DVD, po czym odtworzyć Linuksa wraz z konfiguracją i aktualizacjami, a wtedy pozostanie jedynie pobranie danych z serwera Rsync, aby nasz system zaczął działać od nowa. Gdy utworzymy obraz systemu i nagramy go na płytę, podczas awarii będzie on wymagał od nas jedynie włożenia wcześniej utworzonej płyty do CD-ROM-u i ustawienia w BIOS-ie komputera opcji: "Boot from CD". Programu Mondo Rescue można także używać jako niezależnego narzędzia do tworzenia kopii zapasowych całego systemu.


I. Program Rsync

1.Przesyłanie plików przy użyciu Rsync i SSH
Przedstawię przykład przesłania pliku w sieci lokalnej na konto użytkownika root na zdalnym komputerze notebook, przez szyfrowany tunel:

root@mac:~$ rsync -av -e ssh temp notebook:test
root@mac's passwod:
building file list ... done
temp/
temp/root-file-1.sxw
temp/root-file-2.o
temp/root-file-3.tar.gz
wrote 25000 bytes read 70 bytes 8000,50 bytes/sec
total size is 25000 speedup is 0,99


Krótki opis

parametr -av oznacza kopiowanie z zachowaniem uprawnień i właścicieli plików, oraz tzw trybem opisowym

parametr -e ssh wymusza szyfrowane połączenie

temp to katalog, który zostaje wysłany zdalnie

Katalog temp wraz z całą zawartością zostanie przesłany na komputer notebook i umieszczony w katalogu /home/root/test.

Może się zdarzyć, że katalog test nie będzie istniał, w takim przypadku Rsync utworzy go.

Jeśli chcemy wysłać plik przez internet (poza sieć lokalną), musimy użyć pełnej nazwy domeny i nazwy logowania na zdalnym systemie:

$ rsync -av -e ssh temp root@notebook.net:~/test

2.Tworzenie serwera kopii zapasowych Rsync

Krok 1

Na serwerze musimy zmodyfikować (lub utworzyć) plik /etc/rcsyncd.conf, aby utworzyć moduł rsync definiujący archiwum:

# global settings
log file = /var/log/rsyncd.log
# modules
[backup_dir1]
parh = /backups
comment = server1 - archiwum
list = yes
read only = no


Na serwerze musi istnieć katalog /backups

Krok 2

Uruchamiamy Rsync w trybie demona:

$ rsync -deamon

Od tego momentu będzie można kopiować pliki ze zdalnych komputerów na serwer. Przyjmijmy, że zdalny komputer nosi nazwę pecet, a serwer rsync, server1

Krok 3

Sprawdzamy, czy serwer jest dostępny:

me@pecet:~$ rsync server1::
backup_dir1 server1 - archiwum

Krok 4

Kopiujemy katalog test użytkownika me do modułu backup_dir1:

me@pecet:~$ rsync -av test server1::backup_dir1
building file list............done
test/testowy_1
test/testowy_2
test/testowy_3
wrote 30000 bytes read 100 bytes 1500,0 bytes/sec
total size is 30100 speedup is 0,95


Krok 5

Sprawdzamy, czy wszystkie pliki zostały poprawnie przesłane na serwer:

me@pecet:~$ rsync server1::backup_dir1
drwx------ 192 2007/01/01 test
-rw-r-r-- 1000 2007/01/01 testowy_1
-rw-r-r-- 1000 2007/01/01 testowy_2
-rw-r-r-- 1000 2007/01/01 testowy_3


Krok 6

Pobieramy pliki z serwera na swój komputer:

me@pecet:~$ rsync -av servr1::backup_dir/test/testowy_1 ~/downloads
reciving file list....done
testowy_1
wrote 1000 bytes read 125 bytes 1050,0 bytes/sec
total size is 1040 speedup is 0

3.Zabezpieczenie modułów serwera Rsync

Uważny czytelnik na pewno zauważy, że w poprzednim przykładzie kryje się błąd w bezpieczeństwie. Udostępniając pliki użytkownikom w sposób z pkt 2, oferuję każdemu logującemu możliwość skopiowania ich do siebie. Niektóre dane mogą być jednak poufne.
W celu "uszczelnienia" tej dziury stworzymy dodatkowy plik rsync-users z nazwami użytkowników i ich hasłami.

Krok 1

Tworzymy plik /etc/rsync/rsync-users. Jego zawartość powinna wyglądać mniej więcej tak:

# rsync-users dla komputera server1
# utworzony 01.01.2007
me:my_secret_password


Plik powinien mieć uprawnienia 600.

Krok 2

Kolejnym krokiem jest zmodyfikowanie jego zawartości. Użytkownik me otrzyma własny moduł, do którego dostępu nie będzie miał nikt poza nim.

# global settings
log file = /var/log/rsyncd.log
# modules
[me_backup]
parh = /backups/me
comment = prywatne archiwum użytkownika me
list = yes
read only = no
auth users = me
secrets file = /etc/rsync/rsync-users


Od tej chwili moduł me_backup będzie dostępny tylko po wpisaniu hasła
Aby skorzystać z tego modułu, użytkownik me musi nazwę serwera poprzedzić swoją nazwą użytkownika Rsync:

me@pecet:~$ rsync me@server1::me_backup
Password:
drwx------ 192 2007/01/01 test
-rw-r-r-- 1000 2007/01/01 testowy_1
-rw-r-r-- 1000 2007/01/01 testowy_2
-rw-r-r-- 1000 2007/01/01 testowy_3

4.Uruchamianie demona Rsync podczas startu systemu

Aby demon Rsync uruchamiał się podczas startu systemu, musimy napisać dla niego skrypt startowy. Plik należy umieścić w katalogu /etc/init.d i nadać mu uprawnienia +X

#!/bin/bash
# skrypt do uruchamiania Rsync w trybie demona

case "$1" in
start)
echo "Uruchamianie serwera Rsync...."
exec /usr/bin/rsync -deamon
;;

stop)
echo "Zatrzymywanie serwera Rsync...."
killall /usr/bin/rsync
;;

restart)
$0 stop
sleep 1
$0 start
;;

*)
echo "Składnia: $0 {start/stop/restart}"
exit 1
;;

esac


5.Automatyzacja tworzenia kopii zapasowych

Aby móc korzystać z tej funkcji, musimy napisać skrypt do tworzenia kopii, utworzyć zadanie w programie Cron i skonfigurować Keychain do uwierzytelniania na zdalnych komputerach.
Poniżej przedstawiam skrypt, który wykona kopię zapasową katalogów /home i /etc. Do tego celu skorzystamy z utworzonego wcześniej konta backupadmin.

#!/bin/bash
source /home/backupadmin/.keychain/$HOSTNAME-sh
rsync -av -e ssh -delete -force /home /etc pecet:home-etc-backup/

Teraz tylko wystarczy utworzyć zadanie Cron:

# crontab -e
O 22 * * * /usr/local/bin/rsyncbackup.sh


Dzięki temu kopia będzie tworzona każdego dnia o 10 wieczorem.

Krótki opis skryptu:

--delete - ta opcja powoduje, że wszystkie pliki usunięte z lokalnego archiwum zostaną też usunięte ze zdalnego archiwum.

--force - ta opcja sprawia, że również pliki niepuste będą usuwane.

6.Instalacja klienta Rsync w systemach Windows

Wiadomo, że w każdej sieci znajdują się komputery z systemem Windows. Użytkowników tych systemów jest o wiele więcej niż systemów Uniksowych. Opiszę sposób, dzięki któremu będziemy mogli tworzyć kopię Windowsa na serwerze Rsync.

Programy, które należy zainstalować to:

Cygwin [http://www.cygwin.com]
OpenSSH
Rsync
Linuksowy edytor tekstu

Ze strony programu Cygwin ściągamy plik setup.exe, klikamy Install from Internet. Gdy proces instalacji dojdzie do menu Select Packages, z menu +Net wybieramy Rsync i OpenSSH. Z menu +Editors wybieramy edytor tekstu.

Wystarczy tylko dodać w Windows ścieżkę do plików Cygwin.

Windows 95/98/Me

Dodajemy w pliku autoexec.bat do instrukcji SET PATH= ścieżkę C:Cygwinin lub inną, zależnie od miejsca zainstalowania programu Cygwin

Windows NT

Przechodzimy do Control Panel --> System --> Environment. Dodajemy ścieżkę na koniec wiersza i klikamy przycisk Set, a następnie Ok.

Windows 2000/XP

Przechodzimy do Panel sterowania --> System --> Zaawansowane, a następnie klikamy przycisk Zmienne środowiskowe, Klikamy dwukrotnie PATH w oknie Zmienne systemowe, dodajemy ścieżkę i klikamy Ok.

Należy pamiętać, że ścieżki w PATH powinny być oddzielone średnikami. W systemie Windows 95/98/Me, po wprowadzeniu wyżej opisanych zmian, konieczny będzie restart systemu.

Następnie uruchamiamy program Cygwin

w okienku MS-DOS wpisujemy C:cygwincygwin.bat, po czym znajdziemy się w środowisku Bash. Dalej postępujemy tak, jak w systemie Linux.

II. Program Mondo Rescue

1. Tworzenie startowej płyty CD do przywracania systemu za pomocą Mondo Rescue.

Płyta CD pozwoli nam w prosty i szybki sposób przywrócić nasz system z zachowaniem konfiguracji, poprawek i aktualizacji. Dzięki tej płycie możemy także zainstalować kilka identycznych wersji systemu na wielu komputerach.

Założenia wstępne:

Podczas tworzenia płyty, na dysku musi być co najmniej 700MB wolnego miejsca
Podczas pracy programu Mondo Rescue nie należy korzystać z żadnych innych programów takich jak: gry, programy pocztowe, przeglądarki, edytory tekstu itp.

Praktyka

Jako root uruchom program mondoarchiwe. Po chwili otworzy się okno z menu. Wybieramy nośnik kopii zapasowej, odpowiadamy na pytanie odnośnie obsługi technologii BurnProof, wybieramy poziom kompresji i szybkość nagrywarki. W następnym kroku podajemy adres SCSI nagrywarki i wskazujemy programowi katalog / do skopiowania. Dzięki temu skopiowane zostaną wszystkie pliki systemu. Możemy także wydzielić katalogi, które nie zostaną skopiowane.
Jeśli tworzymy kopię zapasową danych za pomocą programu Rsync, w programie Mondo wykluczamy katalog /home i inne dane, których kopię utworzyliśmy w programie Rsync.
Na końcu Mondo zapyta, czy zweryfikować kopię i czy system używa standardowego jądra.

Tworzenie kopii zapasowej może potrwać nawet kilka godzin, lecz nie należy odchodzić od komutera na długo, gdyż pod koniec tego procesu będziemy musieli jeszcze wykonać kilka prostych czynności.

Jeśli jako Boot Menagera używamy GRUB, powinniśmy utworzyć dowiązanie symboliczne:

$ ln -s /boot/grub/menu.lst /etc/grub.conf

2. Weryfikacja kopii zapasowej

Ważnym elementem tworzenia kopii zapasowej jest weryfikacja jej poprawności. Lepie, żeby okazało się, że kopia zapasowa jest uszkodzona zaraz po jej utworzeniu, niż podczas konieczności jej użycia...

Uruchamiamy z płty Mondo system, w którym została utworzona i w wierszu poleceń wydajemy komendę: compare. Po zakończeniu możemy przejrzeć wyniki w pliku /tmp/changed.txt. W plikach dzienników, kolejek poczty, /etc/mtab mogą występować różnice, ponieważ są one często używane. Zmian nie powinno być w plikach systemowych, znajdujących się w katalogach: /bin, /sbin, /usr/bin i /usr/sbin, oraz w plikach konfiguracyjnych w /etc.

3. Przywracanie systemu z płyty ratunkowej

Prędzej czy później będziemy zmuszeni wykorzystać naszą kopię zapasową, czyli przywrócić system do poprzedniego stanu.

W tym celu należ uruchomić system z płyty ratunkowej i wpisać komendę nuke w wierszu poleceń, a stary system zostanie skasowany i zastąpiony nowym.
Po tych czynnościach system jest gotowy do pracy

Źródło: http://komputery.katalogi.pl/Kopia_bezp ... 07345.html

Ponadto autor powyższego przygotował e-booka do pobrania: http://konto.bydgoszcz.wsinf.edu.pl/~ma ... _Linux.pdf

[Szpak]

Nie wiem, czy Rsync jest lepszy od rdiff-backup (no w każdym razie wcześniej znalazłem rsync i już do niego przywykłem). No i gównie używam go do robienia kopii zapasowych innego typu danych, no ale myślę, że i w tej sytuacji by się sprawdził

Myśle, że mają podobne możliwości, bo rdiff-backup wykorzystuje bibliotekę librsync. rdiff-backup moze jest bardzie "user friendly" i ma możliwość trzymania (i przywracania) wersji posrednich.

Kiedyś szukając dodatkowych informacji na ten temat natknąłem się na genialny artykuł "Tworzenie kopii zapasowych i odtwarzanie systemu w systemie Linux" napisany w oparciu o książkę Carli Schroder ' Linux. Receptury'.

Dzięki Rsync mogę tworzyć kopie czego tylko dusza zapragnie. Poniżej wklejam artykuł-wprowadzenie, odczytany ze zrozumieniem pozwala na dość dużo. Może trochę off-top ze względu na potencjalną skalę zastosowań, ale od przybytku głowa nie boli. No i może komuś się przyda...

Bardzo interesujacy. Moze przydac sie takze archiwizowania innych rzeczy.


Dzieki za podzielenie się wiedzą

[Grzegorz]

Żeby nie było, że kopie można robić tylko w żmudny sposób spod konsoli... Proponuję do robienia kopii Back Up Wizard, który przypadnie do gustu zwłaszcza nowym użytkownikom.
https://wiki.ubuntu.com/HomeUserBackup
https://launchpad.net/distros/ubuntu/+s ... ser-backup



To narzędzie pozwala robić kopie zapasowe danych użytkownika i zapewnia prosty interfejs zarówno do robienia kopii jak i ich przywracania.

Program ma dwie opcje:
• master backup - zbiera wszystkie pliki z profilu użytkownika (za wyjątkiem tymczasowych plików, muzyki i wideo, jeśli tego chcemy) do pliku kopii lub urządzenia
• incremental backup - robiony po master backup, pozwala na dodanie zmodyfikowanych i nowo utworzonych plików do wcześniejszej kopii; pliki niezmienione nie będą dodane.

Interfejs programu wymaga Glade (apt-get install glade).