[HOWTO] Backup con DAR

[Merlink]

Salve a tutti. Da qualche tempo eseguo regolarmente i backup della mia home con Dar. Lo trovo un ottimo strumento e spero che questo minitip possa aiutare tutti quelli che, come me, si sono stancati di perdere dati. L'idea e' di iniziare questo thread con i comandi principali e fare in modo che la community fornisca ulteriori spunti di riflessione.

In particolare, spero di ampliare (successivamente) con:

• script per backup differenziali, full e catalogo
• script per la masterizzazione in un dvd multisessione
• eventuali GUIs per sfruttare dar meglio di quanto non faccia KDar

Ma ora veniamo a noi:

Tools Necessari
Quello che ci serve per iniziare e':

Code: Select all

emerge dar cdrtools dvd+rw-tools

Conoscenze di base
Dar e' un derivato diretto di TAR, per questo ne eredita alcune opzioni e comportamenti.
Dar e' un tool di backup differenziale. Possiamo quindi creare un backup "full" e poi backuppare solo le modifiche avvenute ai files di questo archivio, creando dei backups "differenziali", quindi sostanzialmente ridotti. La rottura e' che per avere un restore completo, ci tocchera' andare a riprendere il full backup + tutti i successivi differenziali, quindi il consiglio e' di fare un full backup mensile e 30 differenziali. In modo da non impazzire...ovviamente questi sono i tempi miei, secondo le necessita', potrebbe essere piu' adeguato un full settimanale + 7 diff o anche meno...
Dar lavora su "slices", o segmenti di archivio. questo significa che creeremo un nostro archivio che potrebbe venire splittato in piu' files (usando l'opzione -s <size> per mettere il nostro archivio su + cd, per esempio). Il basename e' il nome dell'archivio, privato di numero progressivo di slice ed estensione. homefull.1.dar ha basename homefull ed e' il primo slice dello sliceset.

Backup Full
Un backup full e' il backup iniziale che andremo a fare, comprende indistintamente tutti i files che ci interessano, e sara' bello corposo. Il comando e':

Code: Select all

dar -y -m 512 -v -s 650M -c archivio -R / -Z *.bz2 -Z *.gz -Z *.zip -D -P tmp -X *.tmp -X *.old home/ashura

Il comando non e' esattamente autoesplicativo, quindi vado a spiegare i singoli switch e opzioni.

Code: Select all

-y = Abilita compressione bzip2
-m 512 = Non comprime files inferiori a 512 bytes (possiamo appendere al numero un indicatore di dimensioni come K,M,G,T,P rispettivamente per Kilo,Mega,Giga,Tera,Peta bytes. 512 e' un buon compromesso per una home.
-v = verbose... spesso ci mette un bel po', e io sono curioso di vedere cosa sta comprimendo :wink: 
-s 650M = dimensione massima di ogni slice, possiamo appendere gli stessi quantificatori di -m
-c archivio = nome base dello sliceset (verranno creati archivio.n.dar)
-R / = considera / come root dir di backup
-Z <files> = evitiamo che DAR perda tempo a comprimere files gia compressi, come i bz2, gz, zip e simili...sarebbe saggio includere pure le immagini compresse e altri archivi...questa opzione puo' essere ripetuta e rispetta i wildcards '*' e '?'
-P <dir> = directory da escludere, sempre path relativo a -R
-X <file> = files da escludere, ricorsivo
-D = facciamo in modo che le dir escluse da -P vengano salvate come vuote, in modo che vengano ricreate al restore (vuote, ovviamente)
home/ashura = files da backuppare (da notare che ho usato un path relativo a -R)

Da notare che opzioni come -P, -X, -Z, possono essere ripetute piu' volte e soprattutto accettano '*' e '?'.

Backup Differenziale
Il backup differenziale, come dice il nome, salva esclusivamente i files modificati successivamente ad un backup di riferiemento.
E' importante notare che per un backup effettivamente valido, sarebbe saggio usare ESATTAMENTE gli stessi parametri passati a dar per un backup full, appendendo solo l'opzione apposita.
Quindi:

Code: Select all

dar -y -m 512 -v -s 650M -c archivio_diff -A ultimobackupdiriferimento -R / -Z *.bz2 -Z *.gz -Z *.zip -D -P tmp -X *.tmp -X *.old home/ashura

come possiamo vedere, l'unica differenza e' quel -A ultimobackupdiriferimento che dice a DAR di considerare solo i files modificati a partire da quel basename.
Direi che e' molto semplice fin qui.

Catalogo Separato
Una cosa alquanto scomoda, in caso di backup differenziale, e' quella di andare a prendere l'ultimo backup eseguito, copiarlo magari su disco per una maggiore velocita' di
lettura e poi darlo in pasto a DAR, che comunque si trovera' a scorrere lungo un file che spesso supera i 500mb. Per evitare tutti questi sbattimenti, possiamo separare il
catalogo dai dati, mantenendo solo un archivio che comprende esclusivamente i dati relativi ai files, senza gli stessi. La creazione e' molto semplice:

Code: Select all

dar -y -v -C catalogo -A backup_da_catalogare

Come possiamo vedere, non e' necessario includere tutte le opzioni usate in precedenza, bastano solo la compressione bz2 (cmq facoltativa), la verbosita' (sono uno che vuole il controllo assoluto)
il nome dello slice-catalogo (da notare la C maiuscola al posto della minuscola) e l'archivio di riferimento (-A).
Fatto questo, ci troveremo con catalogo.1.dar, in tutto simile al backup da catalogare, ma decisamente piu' piccolo.
Successivamente, potremmo usare questo catalogo durante la creazione dei backup differenziali, al posto degli archivi precedenti. Ovviamente dovremmo aggiornare questo catalogo ogni volta che facciamo un backup,
differenziale o totale.

Restore archivio
Il restore di uno sliceset e' piuttosto semplice ed immediato. L'operazione va eseguita come root, se si desidera che vengano ripristinati permessi e proprietari.

Code: Select all

dar -x basename

Masterizzazione da riga di comando
Dato che lo scopo e' quello di creare un backup senza intervento umano, ho deciso di aggiungere qualche cenno di masterizzazione, per chi non lo sapesse.
Scusate la poca verbosita'...


Immagine iniziale

Code: Select all

 mkisofs -R -r -J -D -l -T -v -o backup.iso *.dar 

Masterizzazione multisessione su CD-R/RW

Code: Select all

cdrecord dev=/dev/cdrecorder -multi backup.iso

Immagine successiva

Code: Select all

mkisofs -R -C `cdrecord -msinfo` -o backup.iso *.dar

Per ora e' tutto, spero che questa guida possa aiutare qualcuno ^_^.

[xchris]

molto carino.
Grazie

[flocchini]

Mi attacco qui perche' mi sembra inerente...

Ho necessita' di creare uno scipt in bash che comprima una directory e metta il file su dvd, permettendo sessioni multiple e quindi piu' archivi sul dvd. Fin qui tutto ok, spulciando i vari post e man ci sono arrivato, il problema che mi pongo e' come controllare che ci sia ancora spazio libero sul dvd prima di scrivere l'ennesimo tar?

[Merlink]

Mi attacco qui perche' mi sembra inerente...

Ho necessita' di creare uno scipt in bash che comprima una directory e metta il file su dvd, permettendo sessioni multiple e quindi piu' archivi sul dvd. Fin qui tutto ok, spulciando i vari post e man ci sono arrivato, il problema che mi pongo e' come controllare che ci sia ancora spazio libero sul dvd prima di scrivere l'ennesimo tar?

Innanzitutto, posta lo scriptino, potrebbe fare comodo
Poi... potresti fare una cosa grezzuccia... monti il dvd, du | tail -n 1 e vedi la dimensione occupata, ci sommi quella del nuovo archivio e vedi se ce la fai, altrimenti richiedi il cambio disco
suppongo ci sia un metodo piu' "elegante", ma quanto meno funge

See Ya

[flocchini]

E' proprio il tail che mi incasina... Io pensavo di passare a un IF il controllo ma nn riesco ad ottenere un numero pulito da tail... Ci aggiunge sempre qsa di stupido

esempio:

Code: Select all

utente@cube utente $ cd /mnt/cdrom
utente@cube cdrom $ du | tail -n 1
22      .
utente@cube cdrom $      

Come lo sego quel puntooooo ?

Btw ecco lo scriptino, sono aperto ai suggerimenti e/o miglioramenti, e' stato buttato giu' molto alla svelta, il proposito e' di avere uno strumento segretaria-proof per un backup di un fileserver samba

Code: Select all

#! /bin/bash 


#Definizione colori
HILITE="\033[1m"
NORMAL="\033[0m"
RED='\E[31;01m'
GREEN='\E[32;01m'
YELLOW='\E[33;01m'

# Avvio
echo
echo -e "$GREEN Iniziata procedura di backup"
echo
echo -e "$RED ***************!!!ATTENZIONE!!!****************"
echo -e "$RED * Interrompere qualsiasi attivita' sul server *"
echo -e "$RED * fino al completamento dell'operazione       *"
echo -e "$RED ***********************************************"
echo
echo -e "$YELLOW Premere il tasto invio quando si e' pronti"
read

# opzioni per la creazione dell'archivio 
tarOptions="--create --absolute-names --preserve-permissions --file" 

# nome dell'archivio 
archive=/data/backup/backup-XXXX-$(date +%d%m%Y).tar.gz 

# creazione dell'archivio 
echo -e "$NORMAL Creazione dell'archivio in corso..."
tar ${tarOptions} ${archive} /data/XXXX; 
echo -e "$GREEN L'archivio e' stato creato con successo"
echo -e "$GREEN E'possibile riprendere le attivita' sul server"
echo
# richiesta di verifica presenza altri dati
echo -e "$YELLOW Il disco contiene gia' altri dati di backup? [S]i' / [N]o  (Predefinito: [S]i'"
read Keypress
case "$Keypress" in
  "S"|"s"   )   
   echo -e "$NORMAL Scrittura dell'archivio in corso..."
   echo
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >&  /path/to/backuplog-$(date +%d%m%Y)
   ;;
   
  "N"|"n"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..."
   echo
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y)
   ;;
   
  *         )   
   echo -e "$NORMAL Scrittura dell'archivio in corso..."
   echo
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y)
   ;;
esac
echo
echo -e "$GREEN Scrittura completata con successo"
echo
echo -e "$NORMAL Eliminazione file temporanei in corso..."
rm /data/backup/*.*
echo
echo -e "$GREEN Procedura di backup completata correttamente ;)"
echo
echo -e "$RED **************************************************************"
echo -e "$RED * Estrarre il supporto e contrassegnarlo immediatamente come *"
echo -e "$RED *            -> Backup XXXX - $(date +%d)-$(date +%m)-$(date +%Y) <-            *"
echo -e "$RED **************************************************************"
echo -e "$NORMAL "

[Merlink]

du | tail -n 1 | sed -e 's/\s.*\.//'

[flocchini]

imbecille che sono...

Code: Select all

du -k | cut -d"." f1

qdo ho finito riposto... Nel frattempo se qualcuno vuole lavorare al posto mio puo' implementare un controllino per vedere se il disco e' gia' stato scritto altre volte o no :ink:

[PboY]

Code: Select all

case "$Keypress" in 
  "S"|"s"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >&  /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
    
  "N"|"n"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
    
  *         )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
esac

questo lo puoi modificare cosi ...

Code: Select all

case "$Keypress" in    
  "N"|"n"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
    
  *         )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
esac

[flocchini]

hai perfettamente ragione... in realta' c'era un case in piu' per l'autorilevamento che poi ho lasciato perdere

[rakim]

questo lo puoi modificare cosi ...

Code: Select all

case "$Keypress" in    
  "N"|"n"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
    
  *         )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
esac

Non credo sia un'ottima idea perché se l'utente, per sbaglio, anzicché "n", preme sbadatamente "m" o "b" (che le sono subito affianco), lo script viene eseguito come se l'utilizzatore avesse premuto "s": ERRORE!

[PboY]

questo lo puoi modificare cosi ...

Code: Select all

case "$Keypress" in    
  "N"|"n"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
    
  *         )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..." 
   echo 
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y) 
   ;; 
esac

Non credo sia un'ottima idea perché se l'utente, per sbaglio, anzicché "n", preme sbadatamente "m" o "b" (che le sono subito affianco), lo script viene eseguito come se l'utilizzatore avesse premuto "s": ERRORE!

lo so benissimo ... ma ho accorciato il suo, che aveva fatto la stessa cosa due volte .. cmq ci sto mettendo mano io e vedo che ci cavo fuori .

[rakim]

Io consiglierei un loop (se non è uguale ad "N" "n" S "s" allora ripeti altrimenti esci dal loop)
E' solo un consiglio, in fondo siamo una comunità e dobbiamo cooperare!

[lan]

interessante da usare come alternativa avanzata a tar per i backup direi che è da Post utilissimi!

[flocchini]

Ecco la versione finale con il conrollo dello spazio disponibile. Messa in produzione oggi pomeriggio e il suo lavoro lo fa... Sone benvenuti suggerimeti e ottimizzazioni, riconfermo la mia ignoranza in bash quindi venghino siori, venghino

Code: Select all

#Definizione colori
HILITE="\033[1m"
NORMAL="\033[0m"
RED='\E[31;01m'
GREEN='\E[32;01m'
YELLOW='\E[33;01m'

# Avvio
echo -e "$NORMAL Avvio procedura di backup su supporto removibile. Prego attendere"
sleep 3
echo
echo -e "$GREEN Iniziata procedura di backup"
echo
echo -e "$RED ***************!!!ATTENZIONE!!!****************"
echo -e "$RED * Interrompere qualsiasi attivita' sul server *"
echo -e "$RED * fino al completamento dell'operazione       *"
echo -e "$RED ***********************************************"
echo
echo -e "$YELLOW Premere il tasto invio quando si e' pronti"
read

# opzioni per la creazione dell'archivio 
tarOptions="--create --absolute-names --preserve-permissions --file" 

# nome dell'archivio 
archive=/data/backup/backup-XXXX-$(date +%d%m%Y).tar.gz 

# creazione dell'archivio 
echo -e "$NORMAL Creazione dell'archivio in corso..."
tar ${tarOptions} ${archive} /data/XXXX; 
echo -e "$GREEN L'archivio e' stato creato con successo"
echo -e "$GREEN E'possibile riprendere le attivita' sul server"
echo
echo -e "$YELLOW Inserire il disco e attendere che l'unita' sia pronta"
echo -e "$YELLOW Premere il tasto invio per continuare"
# richiesta di verifica presenza altri dati
echo
echo -e "$YELLOW Il disco contiene gia' altri dati di backup? [S]i' / [N]o  (Predefinito: [S]i')"
read Keypress
case "$Keypress" in
     
  "N"|"n"|"No"|"no"   )    
   echo -e "$NORMAL Scrittura dell'archivio in corso..."
   echo
   growisofs -Z /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y)
   echo -e "$NORMAL Eliminazione file temporanei in corso..."
   rm /data/backup/*.*
   ;;
   
  *         )  
      declare -i FREE DVD_SIZE ARCH_SIZE FULL
   mount /mnt/cdrom
   cd /mnt/cdrom
   FULL=$(du -k|cut -d"." -f1)
   cd /data/backup
   umount /mnt/cdrom
   ARCH_SIZE=$(du -k|cut -d"." -f1)
   DVD_SIZE=4600000
   FREE=$DVD_SIZE-$FULL
   if [ $FREE -lt $ARCH_SIZE ]
	then
	echo -e "$RED *********************!!!ERRORE!!!*********************"
	echo -e "$RED * Il disco inserito non ha spazio libero sufficiente *"
	echo -e "$RED * Inserire un disco con maggior spazio libero        *"
	echo -e "$RED * e ripetere l'operazione                            *"
	echo -e "$RED ******************************************************"
	echo
	echo -e "$NORMAL Eliminazione file temporanei in corso..."
	rm /data/backup/*.*
	exit
   fi
   echo -e "$NORMAL Scrittura dell'archivio in corso..."
   echo
   growisofs -M /dev/hdb -iso-level 4 -J -r /data/backup >& /path/to/backuplog-$(date +%d%m%Y)
   ;;
esac
echo
echo -e "$GREEN Scrittura completata con successo"
echo
echo -e "$GREEN Procedura di backup completata correttamente ;)"
echo
echo -e "$RED **************************************************************"
echo -e "$RED * Estrarre il supporto e contrassegnarlo immediatamente come *"
echo -e "$RED *            -> Backup XXXX - $(date +%d)-$(date +%m)-$(date +%Y) <-            *"
echo -e "$RED **************************************************************"
echo -e "$NORMAL "

[rakim]

Per il backup differenziale, o più genericamente per il backup, c'è konserve!
http://konserve.sourceforge.net/

EDIT: l'unico problema è che utilizza le librerie di kde!

[spugna]

Girando per la rete ho trovato questo.

http://sarab.sourceforge.net

Fa differenziali, incrementali ecc...
manca però la masterizzazione.

[knefas]

Ciao! Ho fatto (terrorizzato dalla prospettiva di un HardDisk Crash) un bel backup di tutta la mia collezione di mp3. Ora pero' e' auspicabile che il mio HD non crashi in tempi brevi. E vorrei fare un altro backup, diciamo tra un mese, con le modifiche che ho fatto:

1. files aggiunti
2. files rinominati
3. files modificati (magari ho cambiato il tag)

In pratica tutti i files che hanno un timestamp successivo al 22092005. Anche se non mi fido moltissimo dei timestamp, per cui mi piacerebbe avere un reale controllo sui nomi dei file. Ho letto un po' di post, e la cosa migliore per questo tipo di backup (incrementale, mi pare che lo chiamano, sia usare un HD e rsync o rdiff), io non ho un altro HD, e vorrei continuare a scrivere tutto su DVD.

La domanda e': e' possibile fare una "fotografia completa" alla situazione attuale, e confrontarla con un'analoga "fotografia" che faro' tra un mese, ottenere un elenco di files, e mettere sul backup solo quelli?

Confido nelle vostre idee!

[Scen]

Con che cosa hai effettuato il backup degli Mp3?

Comunque per gestire i backup come vuoi tu, ti consiglio questo programmino (se utilizzi KDE): KDar

Dai un'occhiata anche a questo TIP: http://forums.gentoo.org/viewtopic-t-32 ... -kdar.html

[knefas]

Uh, grazie, mi era sfuggito quel tip...sembra fare proprio al caso mio....io il backup l'ho fatto a mano col k3b... Interessantissima la possibilita' di fare un catalogo...mo' guardo e vi aggiorno.

[xchris]

amesso e concesso che md5sum funzioni a dovere e dia una stringa univoca... (dimostrato che non sempre e' cosi'... ma e' un caso raro)

Sarebbe interessante fare un tool che salva md5 ed eventualmente time-stamp e poi effettua copie incrementali. (non sul file)

Cmq cerca bene perche' c'e' molto materiale...

ciao

[gutter]

amesso e concesso che md5sum funzioni a dovere e dia una stringa univoca... (dimostrato che non sempre e' cosi'... ma e' un caso raro)

Le probabilità che ci sia una collisione sono davvero molto basse . Mi pare che siano state dimostrate collisioni solo in casi molto particolari e con file costruiti ad hoc.

[makoomba]

l'opzione "-N" di tar permette di archiviare solo i files più recenti di un timestamp.

Code: Select all

# full
touch .fullBackup
tar cjpf fullBackup.tar.bz2 dir
# incr
tar cjpf incrBackup.tar.bz2 -N .fullBackup dir

[knefas]

Mmm, grazie mille delle risposte.
Ho guardato un po' [k]dar, ma non riesco a trovare il modo di non fargli fare un archivio: qualcuno sa se e' possibile (probabilmente basterebbe leggere meglio il FantasticManual :p ) fargli fare un DVD "al volo"? Nel senso che io non ho abbastanza spazio su disco per permettermi di fare tante slices da 4.7GB (va beh, ho visto che potrei interropere dopo ogni slice da 4.7 (4.7 da qualche parte li trovo!) masterizzare->cancellare->altra fetta)...ma preferirei tenermi i miei DVD con tutti i file "non compressi", in modo da poterli al limite sfruttare su un lettore DVD da tavolo o qualcosa del genere...

(l'md5 sarebbe stupendo, xchris!)

[xchris]

ho da qualche parte uno script bash basato sul time-stamp e con l'invio via email dei risultati...
ma e' vecchio e con qualche baco.

Non e' escluso che lo riscriva in python ed eventualmente con un frontend GTK+....
Ho molte cose arretrate e quindi non saprei quando potrei iniziare.. :S

ciao

[Onip]

per scrivere su dvd in maniera incrementale potresti anche prendere in considerazione di utilizzare UDF. ci sono molti post a riguardo