Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
[PORTAGE][TOOL] Emerge in ram/tmpfs: aggiornato a gennaio 06
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

Goto page Previous  1, 2, 3, 4, 5, 6, 7, 8  Next  
Reply to topic    Gentoo Forums Forum Index Forum italiano (Italian) Risorse italiane (documentazione e tools)
View previous topic :: View next topic  
Author Message
ErniBrown
Apprentice
Apprentice


Joined: 19 Jan 2005
Posts: 276
Location: Seconda stella a destra e poi dritto fino al mattino...

PostPosted: Tue May 24, 2005 10:42 am    Post subject: Reply with quote

Ho trovato un errore: se la compilazione si interrompe non viene smontato il filesystem in memoria!

Ho dato un emerge -uD world, con dimensione del tmpfs di soli 200Mb; ovviamente si è bellamente piantato quando è arrivato all'update di openoffice, no space left on device. Visto che fra swap e memoria fisica arrivo sì e no a 1 giga ho disabilitato lo script, ma continuava a darmi lo stesso errore: dopo un po' ho capito che in caso di errore di compilazione, o errore di estrazione lo script non smonta la memoria! Quindi mi manteneva occupati 200Mb, e in più mi bloccava l'emerge di openoffice!
_________________
There are 10 kind of people:
those who understand binaries and
those who don't.
Back to top
View user's profile Send private message
_Hadakaar
n00b
n00b


Joined: 21 May 2005
Posts: 19
Location: Torino

PostPosted: Tue May 24, 2005 11:21 am    Post subject: Reply with quote

quello che ho detto io :D
_________________
Un non-luogo di molti. Dall'immaginazione di William Gibson, con l'eredità di Philip K. Dick e grazie all'innovazione di Rudy Rucker
Era Cyberpunk - un futuro all'antica.
Back to top
View user's profile Send private message
ErniBrown
Apprentice
Apprentice


Joined: 19 Jan 2005
Posts: 276
Location: Seconda stella a destra e poi dritto fino al mattino...

PostPosted: Tue May 24, 2005 11:48 am    Post subject: Reply with quote

pala grazie, devo sotterrarmi!
_________________
There are 10 kind of people:
those who understand binaries and
those who don't.
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Tue May 24, 2005 7:20 pm    Post subject: Reply with quote

postate l'output di emerge info e di ls -l ${PORTAGE_TMPDIR}/portage
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
!equilibrium
Bodhisattva
Bodhisattva


Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC

PostPosted: Thu May 26, 2005 9:51 am    Post subject: Reply with quote

installato e configurato come da guida proprio nel bel mezzo di un "emerge -uD world" e ha iniziato ad usare il ramfs senza fare una piega, il guadagno di prestazione è molto evidente sul mio notebook (che non è il massimo in fatto di prestazioni);

l'unica cosa che ho notato è che se do un "df" ottengo:

Code:
Filesystem           1K-blocks      Used Available Use% Mounted on
udev                    241652       688    240964   1% /dev
tmpfs                   307200     32676    274524  11% /var/tmp/portage


e la / ? e gli altri mount point che avevo (samba, nfs, cifs) non ci sono +, o meglio nel filesystem ci sono, posso tranquillamente surfare tra le samba/NFS share, solo che il comando "df" non le vede +; non sono sicuro che dipenda dal tuo script, io comunque lo segnalo lo stesso non si sa mai, ma sono sicuro che prima di installare il tuo script tale comando riportava i valori esatti perchè l'avevo appena lanciato prima di "emerge -uD world".

a parte questo, ti sei guadagnato un giro gratis di birra :mrgreen:
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Thu May 26, 2005 10:09 am    Post subject: Reply with quote

son contento che ti sia stato utile :)
cmq, hai provato con df -a?
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
!equilibrium
Bodhisattva
Bodhisattva


Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC

PostPosted: Thu May 26, 2005 10:13 am    Post subject: Reply with quote

FonderiaDigitale wrote:
son contento che ti sia stato utile :)


utilissimo, almeno l'hd del notebook non viene impegnato durante la compilazione e questo non è poco nel mio caso specifico; a parte l'aumento di prestazioni in fase di compilazione ho anche l'indubbio beneficio di non avere la CPU occupata da processi di lettura/scrittura della compilazione, a totale vantaggio della fluidità del DE (ovviamente non è che faccia miracoli, ma la differenza si nota)

Quote:
cmq, hai provato con df -a?


si, ma riporta sempre gli stessi mount point:

Code:
Filesystem           1K-blocks      Used Available Use% Mounted on
proc                         0         0         0   -  /proc
sysfs                        0         0         0   -  /sys
udev                    241652       688    240964   1% /dev
devpts                       0         0         0   -  /dev/pts
usbfs                        0         0         0   -  /proc/bus/usb
tmpfs                   307200     63376    243824  21% /var/tmp/portage

_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Thu May 26, 2005 10:18 am    Post subject: Reply with quote

molto strano.. che versione di coreutils hai? io ~5.2.1-r6
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
!equilibrium
Bodhisattva
Bodhisattva


Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC

PostPosted: Thu May 26, 2005 10:25 am    Post subject: Reply with quote

FonderiaDigitale wrote:
molto strano.. che versione di coreutils hai? io ~5.2.1-r6


idem :cry:

Code:
 emerge -av coreutils

These are the packages that I would merge, in order:

Calculating dependencies ...done!
[ebuild   R   ] sys-apps/coreutils-5.2.1-r6  -acl -build -debug -hardened +nls (-selinux) -static (-uclibc) 4,259 kB

_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Thu May 26, 2005 10:39 am    Post subject: Reply with quote

non capisco. posta l'output di
Code:
mount

cat /proc/mtab

non vorrei fosse qualcosa a livello kernel. hai grsec o lids?
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
!equilibrium
Bodhisattva
Bodhisattva


Joined: 06 Jun 2004
Posts: 2109
Location: MI/BG/LC

PostPosted: Thu May 26, 2005 10:45 am    Post subject: Reply with quote

FonderiaDigitale wrote:
non capisco. posta l'output di
Code:
mount

cat /proc/mtab

non vorrei fosse qualcosa a livello kernel. hai grsec o lids?


no assolutamente, normalissimo kernel 'gentoo-sources' esente da qualsiasi tipo di patch,
idem tutto l'ambiente è una normalissima gentoo ~x86, niente SELinux o cose simili;
comunque non è importante, non influisce sul funzionamento di tutto il resto.
_________________
Arch Tester for Gentoo/FreeBSD
Equilibrium's Universe

all my contents are released under the Creative Commons Licence by-nc-nd 2.5
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Thu May 26, 2005 1:43 pm    Post subject: Reply with quote

Non smonta il tmpfs non solo se interrotto dall'esterno (ctrl+c) ma anche quando si blocca per un errore...
Inoltre anche la compilazione di wine falliva per "no space left on device"... e gli avevo dato ben 512 mega.... (su 1 giga) :roll:
Forse bisognerebbe ritirare fuori questo script l'anno prossimo quando avremo tutti 2 p 3 giga di ram sui nostri pc :wink:
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
makoomba
Bodhisattva
Bodhisattva


Joined: 03 Jun 2004
Posts: 1856

PostPosted: Thu May 26, 2005 2:35 pm    Post subject: Reply with quote

veramente un bel tip.
ho iniziato la migrazione di tutti i servers a gentoo e lo sto utilizzando dal bootstrap.

solo un problema, "mount" non è presente nello stage1, ho risolto copiandolo da cd (con relative dipendenze).

è un pò grezzo, sono sicuro che dev'esserci una soluzione più elegante.
Back to top
View user's profile Send private message
_Hadakaar
n00b
n00b


Joined: 21 May 2005
Posts: 19
Location: Torino

PostPosted: Thu May 26, 2005 5:46 pm    Post subject: Reply with quote

FonderiaDigitale wrote:
postate l'output di emerge info e di ls -l ${PORTAGE_TMPDIR}/portage


per ora non posso fare nulla:( :( :( :(
https://forums.gentoo.org/viewtopic-p-2443479.html#2443479
_________________
Un non-luogo di molti. Dall'immaginazione di William Gibson, con l'eredità di Philip K. Dick e grazie all'innovazione di Rudy Rucker
Era Cyberpunk - un futuro all'antica.
Back to top
View user's profile Send private message
Raffo
Veteran
Veteran


Joined: 23 Apr 2004
Posts: 1019
Location: Berlin

PostPosted: Thu May 26, 2005 5:59 pm    Post subject: Reply with quote

stasera mi ci faccio un giro :wink:
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Thu May 26, 2005 9:52 pm    Post subject: Reply with quote

Cazzantonio wrote:
Non smonta il tmpfs non solo se interrotto dall'esterno (ctrl+c) ma anche quando si blocca per un errore...
Inoltre anche la compilazione di wine falliva per "no space left on device"... e gli avevo dato ben 512 mega.... (su 1 giga) :roll:
Forse bisognerebbe ritirare fuori questo script l'anno prossimo quando avremo tutti 2 p 3 giga di ram sui nostri pc :wink:


le prove che ho fatto io sono proprio di interromperlo con SIGTERM, o CTRL+C. a me funziona.

Tieni conto cmq che non e' nato per essere ficcato nel make.conf e lasciato li con i settaggi di default per qualsiasi cosa: va da se che in ram non puoi compilare tutto openoffice.
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Thu May 26, 2005 9:59 pm    Post subject: Reply with quote

makoomba wrote:
veramente un bel tip.
ho iniziato la migrazione di tutti i servers a gentoo e lo sto utilizzando dal bootstrap.

solo un problema, "mount" non è presente nello stage1, ho risolto copiandolo da cd (con relative dipendenze).

è un pò grezzo, sono sicuro che dev'esserci una soluzione più elegante.


basterebbe usare mtab.
il problema e' che per vedere i fs montati basta quello, ma per montarlo serve comunque mount (che sta fuori dal chroot)
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
makoomba
Bodhisattva
Bodhisattva


Joined: 03 Jun 2004
Posts: 1856

PostPosted: Fri May 27, 2005 7:53 am    Post subject: Reply with quote

FonderiaDigitale wrote:
il problema e' che per vedere i fs montati basta quello, ma per montarlo serve comunque mount (che sta fuori dal chroot)

infatti il problema è il "montaggio" e "smontaggio" del tmpfs
cmq, il bootstrap con gcc-3.4 è stato completato regolarmente compilando tutto in ram.

invece il successivo emerge -e system si è bloccato su openssl (mi pare?) dicendo che mancava perl ???

disabilitando la compilazione in ram è filato tutto liscio....
Back to top
View user's profile Send private message
Cazzantonio
Bodhisattva
Bodhisattva


Joined: 20 Mar 2004
Posts: 4514
Location: Somewere around the world

PostPosted: Fri May 27, 2005 10:44 am    Post subject: Reply with quote

@FonderiaDigitale
Pensi sia possibile implementare un modo per escludere particolari pacchetti dalla compilazione in ram?
Tipo un check su una lista di file dove indicare i pacchetti da escludere...
_________________
Any mans death diminishes me, because I am involved in Mankinde; and therefore never send to know for whom the bell tolls; It tolls for thee.
-John Donne
Back to top
View user's profile Send private message
Dece
Apprentice
Apprentice


Joined: 23 Nov 2004
Posts: 291
Location: Bologna/Rimini Italy

PostPosted: Fri May 27, 2005 11:19 am    Post subject: Reply with quote

Ottimo tip complimenti :D anche se (ovviamente) con i pacchetti piccoli non ho notato nessuna riduzione dei tempi di compilazione: appena ho tempo provo con qualche cosa di più sostanzionso da compilare, magari sul portatile dove ho l'hd più lento e dovrei notare miglioramenti :) cmq rimane il fatto che compilando in ram gli hard disk ne traggono un gran vantaggio.
Non ho capito qual è il problema del mount: ho provato a interrompere una compilazione con ctrl-c, e quando l'ho fatta ripartire mi ha correttamente smontato e rimontato /var/tmp/portage: alla peggio si può smontare a mano... se mi sono perso qualcosa bacchettatemi pure :wink:
Ciao!
Back to top
View user's profile Send private message
ErniBrown
Apprentice
Apprentice


Joined: 19 Jan 2005
Posts: 276
Location: Seconda stella a destra e poi dritto fino al mattino...

PostPosted: Fri May 27, 2005 11:26 am    Post subject: Reply with quote

il problema è che viene smontata quando riparte la compilazione, mentre dovrebbe essere smontata appena dopo l'interruzione di emerge, prima della fine dello script. Altrimenti una buona fetta della memoria rimane inutilizzabile (anche se probabilmente viene passata allo swap).
_________________
There are 10 kind of people:
those who understand binaries and
those who don't.
Back to top
View user's profile Send private message
Dece
Apprentice
Apprentice


Joined: 23 Nov 2004
Posts: 291
Location: Bologna/Rimini Italy

PostPosted: Fri May 27, 2005 11:42 am    Post subject: Reply with quote

ErniBrown wrote:
il problema è che viene smontata quando riparte la compilazione, mentre dovrebbe essere smontata appena dopo l'interruzione di emerge, prima della fine dello script. Altrimenti una buona fetta della memoria rimane inutilizzabile (anche se probabilmente viene passata allo swap).

Capito :)
Quindi o si patcha emerge o si fa uno scriptino che controlla se ci sono processi di emerge attivi e in caso contrario smonta tmpfs o... non so ;)
Back to top
View user's profile Send private message
FonderiaDigitale
Veteran
Veteran


Joined: 06 Nov 2003
Posts: 1710
Location: Rome, Italy

PostPosted: Fri May 27, 2005 10:19 pm    Post subject: Reply with quote

ok: vedro' di fare trapping dei segnali, se riesco... ma non credo, visto che il bashrc viene invocato PRIMA di eseguire ogni singolo passo dell'ebuild, e non durante, quindi dovrei scrivere un qualcosa che esegua PRIMA di emerge stesso, soluzione che non mi piace affatto; la soluzione del rimontaggio all'emerge era proprio un workaround a questo.

.. e implementare la famosa lista dei pacchetti: a tal proposito, se avete una lista (a coppie, pacchetto - dimensione) da suggerire di modo tale che la implemento.
_________________
Come disse un amico, i sistemisti sono un po' come gli artigiani per l'informatica :)
Back to top
View user's profile Send private message
Ciccio Bueo
l33t
l33t


Joined: 19 Oct 2004
Posts: 834
Location: Treviso

PostPosted: Sat May 28, 2005 12:21 am    Post subject: Reply with quote

FonderiaDigitale alla homer j. s. MMM-ITICO!

ottimo, dopo un emerge -uDav world tutto ok e in pochissimo tempo (poche ore su p3 733)! :D
Back to top
View user's profile Send private message
CRV§ADER//KY
Guru
Guru


Joined: 30 Aug 2004
Posts: 405
Location: Torino

PostPosted: Sat May 28, 2005 12:50 pm    Post subject: Reply with quote

randomaze wrote:
Ricordo male oppure openoffice per compilare richiede circa 4/5Gb di spazio?


2.5 Gb se non ricordo male.

Io ho semplicemente aggiunto a fstab
Code:
none                    /tmp                    tmpfs           defaults,size=1595M   0 0
none                    /var/tmp                tmpfs           defaults,size=1595M   0 0


e funziona benissimo. Al termine di un emerge, portage lascia in /var/tmp/portage una manciata di kb, quindi non vale proprio la pena IMHO ripulire tutto ogni volta; l'unico caso in cui lascia files temporanei è quando una compilazione fallisce o viene interrotta. Confermo che i tmpfs possono essere di qualsiasi dimensione fino a quella massima di RAM+swap e che, finché sono vuoti, non influiscono minimamente sul quantitativo di RAM/swap libero.

[EDIT]Nota per chi hostasse un server: poiché TUTTI gli utenti possono scrivere su /tmp e /var/tmp, vi sconsiglierei di settare la dimensione di tali fs temporanei a quella massima di swap+RAM, in quanto qualunque utente locale può farvi un bel DoS generalizzato tramite errori di out of memory, banalmente allocando tutto lo spazio su /tmp.
_________________
Kyrie, Ignis Divine, Eleison ~ Elfen Lied
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Forum italiano (Italian) Risorse italiane (documentazione e tools) All times are GMT
Goto page Previous  1, 2, 3, 4, 5, 6, 7, 8  Next
Page 3 of 8

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum