Gentoo Forums
Gentoo Forums
Gentoo Forums
Quick Search: in
O que leva ao "Updating Portage cache" demorar cada vez ma?
View unanswered posts
View posts from last 24 hours
View posts from last 7 days

Goto page 1, 2  Next  
Reply to topic    Gentoo Forums Forum Index Portuguese
View previous topic :: View next topic  
Author Message
domus-br
Apprentice
Apprentice


Joined: 27 May 2003
Posts: 292
Location: Niterói-RJ,Brasil

PostPosted: Sun Nov 27, 2005 3:32 am    Post subject: O que leva ao "Updating Portage cache" demorar ca Reply with quote

Pois é pessoal

a medida que vou fazendo o emerge sync, tem se tornado muito demorada no momento que o "Updating Portage cache" passa a "atualizar"

não entendo com isso vem sendo possivel, uma vez que nao permito que os "intervalos" entre um "emerge sync" e outro, fiquem muito distantes, pra ocasionalmente nao ter tanto trafego de informação, mas basta chegar no Updating Portage cache, que a situação fica feia, demora o mesmo tempo ou mais com se nao tivesse nenhuma ebuild no portage e tivesse baixando
_________________
http://www.mozilla.org.br

"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd
Back to top
View user's profile Send private message
RoadRunner
Bodhisattva
Bodhisattva


Joined: 12 Jun 2002
Posts: 490
Location: Coimbra, Portugal

PostPosted: Sun Nov 27, 2005 3:54 am    Post subject: Reply with quote

A cache do portage cria uma mini portage tree onde as ebuilds contêm apenas as informações necessárias às pesquisas e cálculo de dependências. Como o portage tem cada vez mais ebuilds, cada vez demora mais a criar e actualizar esta cache.

Como é um processo que depende na sua maioria do acesso a disco, se este estiver muito fragmentado o processo demora mais.
Back to top
View user's profile Send private message
domus-br
Apprentice
Apprentice


Joined: 27 May 2003
Posts: 292
Location: Niterói-RJ,Brasil

PostPosted: Sun Nov 27, 2005 4:22 am    Post subject: Reply with quote

RoadRunner wrote:
A cache do portage cria uma mini portage tree onde as ebuilds contêm apenas as informações necessárias às pesquisas e cálculo de dependências. Como o portage tem cada vez mais ebuilds, cada vez demora mais a criar e actualizar esta cache.

Como é um processo que depende na sua maioria do acesso a disco, se este estiver muito fragmentado o processo demora mais.


Entendo,

existe uma maneira de melhorar isso? pergunto... pois tem ficado insuportavel esperar tanto tempo um simples emerge sync, nao por conta do trafego, mas sim do cache quando vai atualizar

meu FS está em reiser

Grato
_________________
http://www.mozilla.org.br

"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Sun Nov 27, 2005 4:45 am    Post subject: Reply with quote

podes usar as versoes instaveis do portage que de certa maneira estao a receber patches para optimizar esse problema

enquanto isso podes instalar o app-portage/esearch para minimizar o tempo de procura :?:
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
domus-br
Apprentice
Apprentice


Joined: 27 May 2003
Posts: 292
Location: Niterói-RJ,Brasil

PostPosted: Sun Nov 27, 2005 5:05 am    Post subject: Reply with quote

MetalGod wrote:
podes usar as versoes instaveis do portage que de certa maneira estao a receber patches para optimizar esse problema

enquanto isso podes instalar o app-portage/esearch para minimizar o tempo de procura :?:


partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync?

detalhe: o esearch já foi instalado
_________________
http://www.mozilla.org.br

"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd
Back to top
View user's profile Send private message
thiagonunes
Apprentice
Apprentice


Joined: 16 Nov 2005
Posts: 171
Location: Brasil -> RS -> Rio Grande

PostPosted: Sun Nov 27, 2005 7:38 am    Post subject: Reply with quote

Existe um método que as vezes pode fazer uma diferença impressionante na velocidade da atualização do cache do portage. Baixando um snapshot do portage dinovo.

Vcê quer testar o quanto melhorou? Faça o seguinte:

# emerge sync
# time emerge metadata

Anote o resultado do campo "real".

Então, usuários brasileiros podem fazer o seguinte:

# wget www.las.ic.unicamp.br/pub/gentoo/snapshots/portage-latest.tar.bz2

Então faça um backup do seu portage atual:

# mv /usr/portage /usr/portage.bkp

Descompacte o portage mais novo:

# tar xjf portage-latest.tar.bz2 -C /usr

Recupere seus distfiles:

# mv /usr/portage.bkp/distfiles /usr/portage

Agora temos uma árvore do portage limpinha. Vamos testar de quanto foi a melhora:

# time emerge metadata

Agora compare o tempo do campo real com a atualização na versão antiga. No meu gentoo o emerge metadata da árvore antiga levava 3m49s, agora leva 2m12s.
Apesar do meu caso não parecer muito impressionante eu não sei porque eu levava bem mais tempo pra fazer essa atualização, só dessa vez não levou, mas era algo em torno de 10 minutos. E também já vi casos parecidos com o meu passarem a fazer a atualização do cache em menos de 1 minuto.

A árvore do portage é grande, ocupa muito espaço, então não esqueça de apagar a antiga.

# rm -rf /usr/portage.bkp

Pessoal, por favor digam como funcionou para vocês e qual foi o ganho.
Back to top
View user's profile Send private message
Operador Nabla
Apprentice
Apprentice


Joined: 06 Feb 2004
Posts: 176
Location: Salesópolis - SP - Brasil

PostPosted: Sun Nov 27, 2005 5:37 pm    Post subject: Reply with quote

Eu apliquei este método sugerido no Gentoo Wiki. Com isso, a atualização dos metadados ficou sensivelmente mais rápida.

O método envolve a utilização de um módulo Python cujo código está disponível no link acima. Aos que quiserem experimentá-lo, mas não têm conhecimento sobre Python, deixo um conselho: cuidado ao "copiar e colar" o texto do código, pois a indentação das linhas que aparecem no texto da página deve ser respeitada.

É por exemplos como esse que eu me convenço, cada vez mais, que o Portage [ainda] explora mal a plataforma Python. Mas tenho fé que isso vai ser resolvido com as futuras versões...
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Sun Nov 27, 2005 6:58 pm    Post subject: Reply with quote

esses problemas estao a ser resolvidos as versoes instaveis.
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
Vanquirius
Retired Dev
Retired Dev


Joined: 14 Jun 2002
Posts: 1297
Location: Ethereal plains

PostPosted: Mon Nov 28, 2005 5:40 pm    Post subject: Reply with quote

domus-br wrote:
partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync?


Rode eupdatedb e depois use "esearch" aos invés de "emerge -s".
_________________
Hello.
Back to top
View user's profile Send private message
errado
Tux's lil' helper
Tux's lil' helper


Joined: 25 Feb 2005
Posts: 92

PostPosted: Tue Nov 29, 2005 12:01 am    Post subject: Reply with quote

Vanquirius wrote:
domus-br wrote:
partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync?


Rode eupdatedb e depois use "esearch" aos invés de "emerge -s".


Queria entender a preferência que vocês têm pelo esearch já que o eix é infinitamente superior :roll:

http://dev.croup.de/proj/eix/
Back to top
View user's profile Send private message
thiagonunes
Apprentice
Apprentice


Joined: 16 Nov 2005
Posts: 171
Location: Brasil -> RS -> Rio Grande

PostPosted: Tue Nov 29, 2005 5:34 am    Post subject: Reply with quote

Concordo plenamente com a idéia de usar o eix. Muito melhor.

Mas outro dia eu falei sobre um método para se diminuir o tempo de busca e atualização do cache da árvore do portage. Esqueçam aquilo, é muito burro.

Agora acho que eu entendo o porque daquilo funcionar. Fragmentação do sistema de arquivos.

Eis um método mais inteligente de fazer a mesma coisa:

# cd /usr
# mv portage/distfiles .
# tar cf portage.tar portage (precisa de 500 MB livres na partição do /usr)
# rm -rf portage
# tar xf portage.tar
# mv distfiles portage

Depois rodem um 'emerge metadata' e comparem a melhora.

Outra idéia que vou colocar em prática em breve é criar uma partição separada pra árvore do portage. Alguém ja pensou nisso antes? Valeu a pena?
Back to top
View user's profile Send private message
Operador Nabla
Apprentice
Apprentice


Joined: 06 Feb 2004
Posts: 176
Location: Salesópolis - SP - Brasil

PostPosted: Thu Dec 01, 2005 12:45 pm    Post subject: Reply with quote

thiagonunes wrote:
Outra idéia que vou colocar em prática em breve é criar uma partição separada pra árvore do portage. Alguém ja pensou nisso antes? Valeu a pena?

Eu fiz isso. Criei uma partição de mais ou menos 300 MB só para hospedar a minha Portage Tree e as minhas Portage Overlays (também criei partições separadas para o meus diretórios DISTDIR e PKGDIR). Na época, fiz isso mais para preservar a minha Portage Tree em possíveis reinstalações do sistema (e formatação das partições) do que para qualquer outra finalidade. Talvez isso tenha melhorado um pouco o desempenho do Portage, mas nada perceptível se comparado à adoção do módulo CDB que eu citei no meu post anterior.
Back to top
View user's profile Send private message
thiagonunes
Apprentice
Apprentice


Joined: 16 Nov 2005
Posts: 171
Location: Brasil -> RS -> Rio Grande

PostPosted: Sat Dec 03, 2005 5:06 am    Post subject: Reply with quote

Fazendo o 'emerge sync' novamente outro dia eu percebi que a melhora só é perceptível quando se faz a atualização do cache do portage num momento em que ela já está atualizada, ou seja, não serve pra nada. Mesmo com a partição separada a lentidão permaneceu ao se fazer essa atualização do cache logo após uma sincronização nova. Portanto, se a melhora foi de 1 min em 10 ou 15 essa melhora é irrelevante.

Testarei outro dia esse módulo CDB, depois eu digo de quanto foi a melhora.
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Sat Dec 03, 2005 10:14 am    Post subject: Reply with quote

aqui esta o que voces querem
http://dev.gentoo.org/~ferringb/portage/2.0
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
thiagonunes
Apprentice
Apprentice


Joined: 16 Nov 2005
Posts: 171
Location: Brasil -> RS -> Rio Grande

PostPosted: Sun Dec 04, 2005 6:48 am    Post subject: Reply with quote

Desculpe mas eu não entendi.
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Sun Dec 04, 2005 5:51 pm    Post subject: Reply with quote

esse ebuild contem patches para incrementar a performance do portage e corrige o bug da metadata aos 51%
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
SbrubblesMan
n00b
n00b


Joined: 26 Mar 2004
Posts: 5

PostPosted: Wed Dec 07, 2005 12:23 pm    Post subject: Reply with quote

Interessante, eu estava com esse problema a até uns 3 dias atrás. Não sei porque, nem como, ele foi sanado esses últimos dias...
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Wed Dec 07, 2005 12:25 pm    Post subject: Reply with quote

provavelmente fizeste o upgrade para o portage 2.0.53 ;)
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
alexandre_parente
n00b
n00b


Joined: 29 Jun 2003
Posts: 37

PostPosted: Tue Dec 20, 2005 6:04 am    Post subject: Reply with quote

o que eu posso dizer sobre o 2.0.53 eh que nada mudou... continua lento e irritante.
quanto ao bug aos 51%, foi resolvido... agora o bug eh aos 50% ...
o emerge usa 98% do cpu durante o metadata e dura aproximadamente 30 hora.
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Tue Dec 20, 2005 2:08 pm    Post subject: Reply with quote

e' normal fazer isso tudo porque provavelmente nem imaginas a quantidade de coisas que se faz nessas operaçoes... a nova versao 2.1_pre1 esta notoriamente mais rapida como era de esperar... e ja esta disponivel para usar.
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
domus-br
Apprentice
Apprentice


Joined: 27 May 2003
Posts: 292
Location: Niterói-RJ,Brasil

PostPosted: Wed Dec 21, 2005 1:12 am    Post subject: Reply with quote

eu sinceramente perdi a vontade de atualizar o gentoo em razao desses problemas, so atualizo em ultimo caso ainda sim, se for muito importante e necessario, pois comigo tb nao senti nenehuma diferença chega no cache acabou a paciencia
_________________
http://www.mozilla.org.br

"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd
Back to top
View user's profile Send private message
MetalGod
Bodhisattva
Bodhisattva


Joined: 10 Mar 2003
Posts: 816
Location: Portugal

PostPosted: Wed Dec 21, 2005 5:25 am    Post subject: Reply with quote

python nao e' uma linguagem mt rapida ate' porque e' altamente orientada a objectos... o codigo do portage e' bom na minha opiniao os devs cada vez estao a adicionar melhorias nas performances em vez de novas features basta esperar e ver o resultado.
_________________
ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice
Back to top
View user's profile Send private message
alexandre_parente
n00b
n00b


Joined: 29 Jun 2003
Posts: 37

PostPosted: Fri Dec 23, 2005 5:04 pm    Post subject: Reply with quote

procurando mais uma vez por solucao para esse caso. A unica coisa que realmente funciona eh o uso do modulo cdb, com todas as resalvas e advertencia que encontrei quanto ao seu uso, recomento.

uso o cdb e o eix. o emerge metadata esta bem mais rapido e o uso do cpu pelo emerge nao passa do 15%.

o problema agora eh o tamanho da arvore que tem ate revista "app-doc/phrack" !!! isso eh um sistema de pacotes ou uma biblioteca?
Back to top
View user's profile Send private message
alexandre_parente
n00b
n00b


Joined: 29 Jun 2003
Posts: 37

PostPosted: Fri Dec 30, 2005 11:24 pm    Post subject: Reply with quote

Outro aplicativo que estou usando e que gostei muito foi o "emerge-delta-webrsync" que reduz muito o uso da net durante o sync e com isso o tempo necessario.

O portage bem que poderia explorar mais o xdelta... e nao se limitar aos pacotes do kde.
Back to top
View user's profile Send private message
domus-br
Apprentice
Apprentice


Joined: 27 May 2003
Posts: 292
Location: Niterói-RJ,Brasil

PostPosted: Tue Jan 03, 2006 3:49 pm    Post subject: Reply with quote

pessoal,

acho que agora percebi que nao ouve demoras no cache, aparentimente a nova versao tem surtido efeito positivo, vou permanecer em observação

abraço
_________________
http://www.mozilla.org.br

"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd
Back to top
View user's profile Send private message
Display posts from previous:   
Reply to topic    Gentoo Forums Forum Index Portuguese All times are GMT
Goto page 1, 2  Next
Page 1 of 2

 
Jump to:  
You cannot post new topics in this forum
You cannot reply to topics in this forum
You cannot edit your posts in this forum
You cannot delete your posts in this forum
You cannot vote in polls in this forum