View previous topic :: View next topic |
Author |
Message |
domus-br Apprentice
Joined: 27 May 2003 Posts: 292 Location: Niterói-RJ,Brasil
|
Posted: Sun Nov 27, 2005 3:32 am Post subject: O que leva ao "Updating Portage cache" demorar ca |
|
|
Pois é pessoal
a medida que vou fazendo o emerge sync, tem se tornado muito demorada no momento que o "Updating Portage cache" passa a "atualizar"
não entendo com isso vem sendo possivel, uma vez que nao permito que os "intervalos" entre um "emerge sync" e outro, fiquem muito distantes, pra ocasionalmente nao ter tanto trafego de informação, mas basta chegar no Updating Portage cache, que a situação fica feia, demora o mesmo tempo ou mais com se nao tivesse nenhuma ebuild no portage e tivesse baixando _________________ http://www.mozilla.org.br
"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd |
|
Back to top |
|
|
RoadRunner Bodhisattva
Joined: 12 Jun 2002 Posts: 490 Location: Coimbra, Portugal
|
Posted: Sun Nov 27, 2005 3:54 am Post subject: |
|
|
A cache do portage cria uma mini portage tree onde as ebuilds contêm apenas as informações necessárias às pesquisas e cálculo de dependências. Como o portage tem cada vez mais ebuilds, cada vez demora mais a criar e actualizar esta cache.
Como é um processo que depende na sua maioria do acesso a disco, se este estiver muito fragmentado o processo demora mais. |
|
Back to top |
|
|
domus-br Apprentice
Joined: 27 May 2003 Posts: 292 Location: Niterói-RJ,Brasil
|
Posted: Sun Nov 27, 2005 4:22 am Post subject: |
|
|
RoadRunner wrote: | A cache do portage cria uma mini portage tree onde as ebuilds contêm apenas as informações necessárias às pesquisas e cálculo de dependências. Como o portage tem cada vez mais ebuilds, cada vez demora mais a criar e actualizar esta cache.
Como é um processo que depende na sua maioria do acesso a disco, se este estiver muito fragmentado o processo demora mais. |
Entendo,
existe uma maneira de melhorar isso? pergunto... pois tem ficado insuportavel esperar tanto tempo um simples emerge sync, nao por conta do trafego, mas sim do cache quando vai atualizar
meu FS está em reiser
Grato _________________ http://www.mozilla.org.br
"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Sun Nov 27, 2005 4:45 am Post subject: |
|
|
podes usar as versoes instaveis do portage que de certa maneira estao a receber patches para optimizar esse problema
enquanto isso podes instalar o app-portage/esearch para minimizar o tempo de procura _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
domus-br Apprentice
Joined: 27 May 2003 Posts: 292 Location: Niterói-RJ,Brasil
|
Posted: Sun Nov 27, 2005 5:05 am Post subject: |
|
|
MetalGod wrote: | podes usar as versoes instaveis do portage que de certa maneira estao a receber patches para optimizar esse problema
enquanto isso podes instalar o app-portage/esearch para minimizar o tempo de procura |
partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync?
detalhe: o esearch já foi instalado _________________ http://www.mozilla.org.br
"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd |
|
Back to top |
|
|
thiagonunes Apprentice
Joined: 16 Nov 2005 Posts: 171 Location: Brasil -> RS -> Rio Grande
|
Posted: Sun Nov 27, 2005 7:38 am Post subject: |
|
|
Existe um método que as vezes pode fazer uma diferença impressionante na velocidade da atualização do cache do portage. Baixando um snapshot do portage dinovo.
Vcê quer testar o quanto melhorou? Faça o seguinte:
# emerge sync
# time emerge metadata
Anote o resultado do campo "real".
Então, usuários brasileiros podem fazer o seguinte:
# wget www.las.ic.unicamp.br/pub/gentoo/snapshots/portage-latest.tar.bz2
Então faça um backup do seu portage atual:
# mv /usr/portage /usr/portage.bkp
Descompacte o portage mais novo:
# tar xjf portage-latest.tar.bz2 -C /usr
Recupere seus distfiles:
# mv /usr/portage.bkp/distfiles /usr/portage
Agora temos uma árvore do portage limpinha. Vamos testar de quanto foi a melhora:
# time emerge metadata
Agora compare o tempo do campo real com a atualização na versão antiga. No meu gentoo o emerge metadata da árvore antiga levava 3m49s, agora leva 2m12s.
Apesar do meu caso não parecer muito impressionante eu não sei porque eu levava bem mais tempo pra fazer essa atualização, só dessa vez não levou, mas era algo em torno de 10 minutos. E também já vi casos parecidos com o meu passarem a fazer a atualização do cache em menos de 1 minuto.
A árvore do portage é grande, ocupa muito espaço, então não esqueça de apagar a antiga.
# rm -rf /usr/portage.bkp
Pessoal, por favor digam como funcionou para vocês e qual foi o ganho. |
|
Back to top |
|
|
Operador Nabla Apprentice
Joined: 06 Feb 2004 Posts: 176 Location: Salesópolis - SP - Brasil
|
Posted: Sun Nov 27, 2005 5:37 pm Post subject: |
|
|
Eu apliquei este método sugerido no Gentoo Wiki. Com isso, a atualização dos metadados ficou sensivelmente mais rápida.
O método envolve a utilização de um módulo Python cujo código está disponível no link acima. Aos que quiserem experimentá-lo, mas não têm conhecimento sobre Python, deixo um conselho: cuidado ao "copiar e colar" o texto do código, pois a indentação das linhas que aparecem no texto da página deve ser respeitada.
É por exemplos como esse que eu me convenço, cada vez mais, que o Portage [ainda] explora mal a plataforma Python. Mas tenho fé que isso vai ser resolvido com as futuras versões... |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Sun Nov 27, 2005 6:58 pm Post subject: |
|
|
esses problemas estao a ser resolvidos as versoes instaveis. _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
Vanquirius Retired Dev
Joined: 14 Jun 2002 Posts: 1297 Location: Ethereal plains
|
Posted: Mon Nov 28, 2005 5:40 pm Post subject: |
|
|
domus-br wrote: | partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync? |
Rode eupdatedb e depois use "esearch" aos invés de "emerge -s". _________________ Hello. |
|
Back to top |
|
|
errado Tux's lil' helper
Joined: 25 Feb 2005 Posts: 92
|
Posted: Tue Nov 29, 2005 12:01 am Post subject: |
|
|
Vanquirius wrote: | domus-br wrote: | partindo do principio do "esearch" ele teria que ser executado? ou eu basta apenas instalar que amenizarei a lentidao do ermege sync? |
Rode eupdatedb e depois use "esearch" aos invés de "emerge -s". |
Queria entender a preferência que vocês têm pelo esearch já que o eix é infinitamente superior
http://dev.croup.de/proj/eix/ |
|
Back to top |
|
|
thiagonunes Apprentice
Joined: 16 Nov 2005 Posts: 171 Location: Brasil -> RS -> Rio Grande
|
Posted: Tue Nov 29, 2005 5:34 am Post subject: |
|
|
Concordo plenamente com a idéia de usar o eix. Muito melhor.
Mas outro dia eu falei sobre um método para se diminuir o tempo de busca e atualização do cache da árvore do portage. Esqueçam aquilo, é muito burro.
Agora acho que eu entendo o porque daquilo funcionar. Fragmentação do sistema de arquivos.
Eis um método mais inteligente de fazer a mesma coisa:
# cd /usr
# mv portage/distfiles .
# tar cf portage.tar portage (precisa de 500 MB livres na partição do /usr)
# rm -rf portage
# tar xf portage.tar
# mv distfiles portage
Depois rodem um 'emerge metadata' e comparem a melhora.
Outra idéia que vou colocar em prática em breve é criar uma partição separada pra árvore do portage. Alguém ja pensou nisso antes? Valeu a pena? |
|
Back to top |
|
|
Operador Nabla Apprentice
Joined: 06 Feb 2004 Posts: 176 Location: Salesópolis - SP - Brasil
|
Posted: Thu Dec 01, 2005 12:45 pm Post subject: |
|
|
thiagonunes wrote: | Outra idéia que vou colocar em prática em breve é criar uma partição separada pra árvore do portage. Alguém ja pensou nisso antes? Valeu a pena? |
Eu fiz isso. Criei uma partição de mais ou menos 300 MB só para hospedar a minha Portage Tree e as minhas Portage Overlays (também criei partições separadas para o meus diretórios DISTDIR e PKGDIR). Na época, fiz isso mais para preservar a minha Portage Tree em possíveis reinstalações do sistema (e formatação das partições) do que para qualquer outra finalidade. Talvez isso tenha melhorado um pouco o desempenho do Portage, mas nada perceptível se comparado à adoção do módulo CDB que eu citei no meu post anterior. |
|
Back to top |
|
|
thiagonunes Apprentice
Joined: 16 Nov 2005 Posts: 171 Location: Brasil -> RS -> Rio Grande
|
Posted: Sat Dec 03, 2005 5:06 am Post subject: |
|
|
Fazendo o 'emerge sync' novamente outro dia eu percebi que a melhora só é perceptível quando se faz a atualização do cache do portage num momento em que ela já está atualizada, ou seja, não serve pra nada. Mesmo com a partição separada a lentidão permaneceu ao se fazer essa atualização do cache logo após uma sincronização nova. Portanto, se a melhora foi de 1 min em 10 ou 15 essa melhora é irrelevante.
Testarei outro dia esse módulo CDB, depois eu digo de quanto foi a melhora. |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Sat Dec 03, 2005 10:14 am Post subject: |
|
|
aqui esta o que voces querem
http://dev.gentoo.org/~ferringb/portage/2.0 _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
thiagonunes Apprentice
Joined: 16 Nov 2005 Posts: 171 Location: Brasil -> RS -> Rio Grande
|
Posted: Sun Dec 04, 2005 6:48 am Post subject: |
|
|
Desculpe mas eu não entendi. |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Sun Dec 04, 2005 5:51 pm Post subject: |
|
|
esse ebuild contem patches para incrementar a performance do portage e corrige o bug da metadata aos 51% _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
SbrubblesMan n00b
Joined: 26 Mar 2004 Posts: 5
|
Posted: Wed Dec 07, 2005 12:23 pm Post subject: |
|
|
Interessante, eu estava com esse problema a até uns 3 dias atrás. Não sei porque, nem como, ele foi sanado esses últimos dias... |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Wed Dec 07, 2005 12:25 pm Post subject: |
|
|
provavelmente fizeste o upgrade para o portage 2.0.53 _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
alexandre_parente n00b
Joined: 29 Jun 2003 Posts: 37
|
Posted: Tue Dec 20, 2005 6:04 am Post subject: |
|
|
o que eu posso dizer sobre o 2.0.53 eh que nada mudou... continua lento e irritante.
quanto ao bug aos 51%, foi resolvido... agora o bug eh aos 50% ...
o emerge usa 98% do cpu durante o metadata e dura aproximadamente 30 hora. |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Tue Dec 20, 2005 2:08 pm Post subject: |
|
|
e' normal fazer isso tudo porque provavelmente nem imaginas a quantidade de coisas que se faz nessas operaçoes... a nova versao 2.1_pre1 esta notoriamente mais rapida como era de esperar... e ja esta disponivel para usar. _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
domus-br Apprentice
Joined: 27 May 2003 Posts: 292 Location: Niterói-RJ,Brasil
|
Posted: Wed Dec 21, 2005 1:12 am Post subject: |
|
|
eu sinceramente perdi a vontade de atualizar o gentoo em razao desses problemas, so atualizo em ultimo caso ainda sim, se for muito importante e necessario, pois comigo tb nao senti nenehuma diferença chega no cache acabou a paciencia _________________ http://www.mozilla.org.br
"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd |
|
Back to top |
|
|
MetalGod Bodhisattva
Joined: 10 Mar 2003 Posts: 816 Location: Portugal
|
Posted: Wed Dec 21, 2005 5:25 am Post subject: |
|
|
python nao e' uma linguagem mt rapida ate' porque e' altamente orientada a objectos... o codigo do portage e' bom na minha opiniao os devs cada vez estao a adicionar melhorias nas performances em vez de novas features basta esperar e ver o resultado. _________________ ex: Gentoo Linux Developer: amd64 media-optical sound gnome
ex: Portuguese Moderator
------------------------------------------------------------------------------
God Doesn't Play Dice |
|
Back to top |
|
|
alexandre_parente n00b
Joined: 29 Jun 2003 Posts: 37
|
Posted: Fri Dec 23, 2005 5:04 pm Post subject: |
|
|
procurando mais uma vez por solucao para esse caso. A unica coisa que realmente funciona eh o uso do modulo cdb, com todas as resalvas e advertencia que encontrei quanto ao seu uso, recomento.
uso o cdb e o eix. o emerge metadata esta bem mais rapido e o uso do cpu pelo emerge nao passa do 15%.
o problema agora eh o tamanho da arvore que tem ate revista "app-doc/phrack" !!! isso eh um sistema de pacotes ou uma biblioteca? |
|
Back to top |
|
|
alexandre_parente n00b
Joined: 29 Jun 2003 Posts: 37
|
Posted: Fri Dec 30, 2005 11:24 pm Post subject: |
|
|
Outro aplicativo que estou usando e que gostei muito foi o "emerge-delta-webrsync" que reduz muito o uso da net durante o sync e com isso o tempo necessario.
O portage bem que poderia explorar mais o xdelta... e nao se limitar aos pacotes do kde. |
|
Back to top |
|
|
domus-br Apprentice
Joined: 27 May 2003 Posts: 292 Location: Niterói-RJ,Brasil
|
Posted: Tue Jan 03, 2006 3:49 pm Post subject: |
|
|
pessoal,
acho que agora percebi que nao ouve demoras no cache, aparentimente a nova versao tem surtido efeito positivo, vou permanecer em observação
abraço _________________ http://www.mozilla.org.br
"Este site só funciona com browser IE 5 ou superior"
O Mozilla é superior!!
:=:=:=:=:=:
Forumgdh
LinuxBsd |
|
Back to top |
|
|
|