Nell’articolo precedente abbiamo visto il modo d organizzare i filesystem delle VM come volumi LVM.
Ora vedremo come questo renda possibile effettuare backup a caldo delle VM in esecuzione.
Per effettuare un backup sarà sufficiente:
effettuare uno snapshot del volume
convertire lo snapshot in un immagine compressa
rimuovere lo snapshot
Ecco un semplicissimo script nel quale a dire il vero non sono implementati controlli sui parametri passati, ma che ha l’indubbio vantaggio di funzionare perfettamente:Continue reading »
La virtualizzazione presenta numerosi vantaggi legati alla condivisione delle risorse fisiche.
Memoria, potenza di calcolo, storage, networking possono essere condivisi da più macchine virtuali andando a sfruttare in maniera ottimale quanto messo a disposizione dal server su cui è in esecuzione l’hypervisor.
A livello di networking la configurazione base prevede che una singola scheda di rete sia condivisa da più server logici.Continue reading »
Tutti gli amministratori di sistema sanno qual’è la funzione del paging (swapspace).
Nato come metodo di protezione negli anni in cui la RAM era una risorsa preziosissima sui sistemi server, ha cambiato via via connotazione, diventando uno strumento di ottimizzazione delle prestazioni.
Forsenontuttisannoche i sistemi LINUX usano una politica molto aggressiva nel tentativo di ottimizzare le risorse disponibili. Ogni risorsa non utilizzata è considerata uno spreco.
Se osservate l’occupazione di RAM in un sistema LINUX, vi accorgerete che la memoria libera è sempre poca. In effetti la memoria non utilizzata è considerata dal kernel come uno spreco e, come tale, va evitato. Per questo motivo viene impiegata come cache/buffer per aumentare le prestazioni di lettura/scrittura dello storage.
Nei kernel della serie 2.6 questo concetto si spinge oltre: non solo viene utilizzata la RAM libera, ma il sistema cerca di ottenerne altra con una politica molto aggressiva.
Tale politica consiste nel mandare in paging nella memoria virtuale alcune parti di memoria non utilizzate di recente come quella dei processi in “idle” cioè che pur essendo in esecuzione, non stanno impegnando la CPU di sistema. In questo modo si può riutilizzare la memoria precedentemente allocata per incrementare le prestazioni complessive della macchina.
L’aggressività è regolabile attraverso il parametro swappiness del kernel. La wikipedia (verificate il link precedente) riporta l’informazione errata che con un valore zero il sistema si comporta in maniera assolutamente rispettosa dei processi in idle, utilizzando il paging solo in caso di reale necessità per evitare l'”out of memory”.
Non è così. Purtroppo impostando a zero tale parametro, il sistema continua a swappare alcuni programmi im esecuzione.
Infatti il kernel calcola in questo modo la tendenza ad utilizzare lo swapping:
Come vedete il terzo parametro vm_swappiness azzerato non è sufficiente ad annullare la tendenza nella formula. Se la tendenza raggiunge un valore > 100 il kernel reclamerà memoria dai processi in esecuzione. Il primo parametro mapped_ratio indica la percentuale di memoria mappata, il secondo distress misura la difficoltà del kernel nel liberare memoria. Quando il kernel decide di reclamare memoria la distress sarà zero, se ci saranno successivi tentativi il valore si eleverà progressivamente fino a 100.
Come dobbiamo fare se abbiamo la necessità di inibire l’uso dello swapping se non in caso di memoria di sistema effettivamente scarsa?
Purtroppo non c’è alcun modo. Googlando su internet troverete un sacco di persone che hanno posto la stessa domanda.
La risposta standard di alcuni individui piuttosto saccenti è del tipo “Pretendete di sapere come va utilizzata la memoria meglio di chi ha scritto il kernel del vostro sistema? Lasciate che il vostro sistema si gestisca da solo e lo farà per il meglio!”.
Tali risposte sono a mio avviso di una cecità clamorosa. Non metto in dubbio l’ottimo lavoro svolto dagli sviluppatori del nostro kernel preferito.
In linea di massima il sistema fa un ottimo lavoro per sfruttare al massimo le risorse, ma non si può generalizzare.
Vi espongo un caso concreto per il quale la scelta del kernel di swappare i processi non è assolutamente una buona idea.
Siamo su un server che funge da hypervisor KVM con macchine virtuali poco attive e parametro swappiness=0.
Con riferimento al precedente articolo, ecco qual’era la situazione durante l’esportazione delle immagini delle macchine virtuali:
A fronte di una quantità esorbitante di memoria libera di cui una parte utilizzata per la cache, abbiamo uno swapfile che è cresciuto fino a oltre 1,5GB.
Alcuni processi in esecuzione sono stati “paginati” nella memoria virtuale.
Quali? Purtroppo la scelta del kernel è caduta su……. le macchine virtuali in esecuzione!
Ho potuto verificarlo lanciando il comando smem.
Ecco quali erano i processi che utilizzavano lo swap:
Effettivamente erano processi che non stavano lavorando molto.
Ma una di queste macchine virtuali contiene il server su cui gira questo blog. Una macchina virtuale con la memoria swapping ha prestazioni talmente scarse da essere assolutamente inutilizzabile! Infatti, tentando di collegarsi via web al sito in quel momento, il browser andava in timeout.
Quindi, pur non pretendendo di di sapere come deve essere impiegata la RAM meglio di chi sviluppa il kernel, vorrei che, almeno in alcuni casi particolari, fosse possibile evitare il paging in virtuale di alcuni processi o, al limite, imporre al kernel di utilizzare lo swapspace solo in caso di critica mancanza di memoria.
Purtroppo non mi risulta che sia possibile configurare il sistema con le caratteristiche di cui sopra, quindi ho dovuto ricorrere ad una soluzione molto pericolosa: disattivare lo swap.
Con oltre 2 GB di memoria libera non mi aspetto problemi di sorta, l’hypervisor ed i pochi servizi in esecuzione non avranno mai necessità superiori.
Ma è comunque una soluzione pericolosa da non utilizzare assolutamente in server in produzione.
Il sistema gira senza paging da un paio di settimane e le prestazioni delle macchine virtuali sono tornate ad un buon livello, ma vorrei che ci fosse un modo meno rischioso per ottenere lo stesso risultato.
Nelle installazioni server lo evito come la peste perché, a fronte di qualche indubbio vantaggio, vi è il rischio concreto di dover profondere un impegno aggiuntivo nel recupero dei dati nelle situazioni di disaster-recovery.
Per questo motivo solitamente opto per una normalissima partizione EXT4 con il mountpoint di root :-).
Ma addentrandomi nel mondo di KVM-qemu come già visto nel mio precedente articolo, mi sono reso conto della grande utilità di gestire le immagini delle macchine virtuali come volumi logici.
Ammetto di essere un accanito sostenitore di VMWARE.
Da anni ho l’occasione di utilizzare in ambito aziendale soluzioni basate su ESXi4.x e 5.x e di apprezzarne la flessibilità e la robustezza.
Il fatto che tali prodotti siano anche offerti con un licensing gratuito (e senza grosse limitazioni funzionali) li rende ancora più attraenti.
Ma non è nel mio carattere fossilizzarmi su un’unica (seppur buona) soluzione.
L’occasione per scatenare la mia voglia di sperimentare qualche alternativa è giunta quasi un anno fa quando una piccola fumata grigia ha posto fine alla travagliata esistenza del mio server domestico.
Dovendo procedere con ristrutturazione forzata del network casalingo ho deciso di impegnare un budget non superiore ai200 euro.
Impresa non facile visto che le esigenze, cresciute con gli anni insieme alla famiglia ed ai bimbi che hanno bisogno di un accesso “sicuro” ad internet, erano degne del CED di una piccola/media azienda:
rete sezionata in 3 sottoreti: WAN, DMZ, e LAN
firewall appliance con proxy sicuro (filtro dei contenuti/antivirus)
2 server LINUX in DMZ per la parte web ed altre cosette
centralino VOIP in DMZ
server di storage in LAN per condivisioni varie
possibilità di installare nuovi server e desk al volo per test.
Il budget è stato interamente dedicato all’acquisto di una mainboard con processore dual-core 64 bit e 8 GB di ram. Il tutto è stato assemblato in un case di recupero insieme ad un disco da 2TB tolto da un unità USB distrutta e 3 schede di rete dalla cassetta dei ferri vecchi….
Provare ad installare VMWARE su un accrocchio del genere sarebbe stato tempo perso!
Per far girare windows (quando serve…) sulla mia workstation Ubuntu, ho da tempo sostituito VMWARE con KVM/QEMU e, alla luce di questa positiva esperienza, ho voluto provare a cimentarmi con un’ installazione server decisamente più impegnativa, ma potenzialmente risolutiva per il mio problema domestico.
Visto che qualche burocrate mi obbliga a farlo, ti avverto che questo sito raccoglie dati statistici sulla navigazione mediante cookie installati da questo sito e da terze parti autorizzate rispettando la privacy dei tuoi dati personali e secondo le norme previste dalla legge. Cliccando sul seguente pulsante, continuando a navigare su questo sito, cliccando sui link al suo interno o semplicemente sfogliando la pagina verso il basso, accetti il servizio e gli stessi cookie.
OK! riempimi pure di cookie!
