[TOOL] efetch

Message

morellik · Post by **morellik** » Tue Sep 14, 2004 11:18 am

Ho buttato giu' uno scriptino per adattare il comando da usare per scaricare i pacchetti in base alla loro dimensione.

Dato che wget e' abbastanza lento, che prozilla apre n connessioni
con lo stesso sito ed e' ottimo per pacchetti di piccole dimensioni e che
axel e' il piu' veloce ma ricercando i mirror ad ogni download di pacchetto
e' lento a partire e quindi adatto a pacchetti di grosse dimensioni, ho pensato
di far scegliere allo script il downloader piu' adatto al pacchetto.
(Non conosco lukemftp

)

Per ora e' molto rozzo, esegue solo un emerge -u, ed e' veramente solo
in fase embrionale. Mi sono scontrato con diversi ostacoli, e sicuramente ci sono vie piu' brevi per farlo (magari con la bash

), ma se l'idea piace, ci posso lavorare su.

Potete scaricare la versione primordiale su http://www.gentoo.it/utility/efetch.py

Aspetto bastonate e tacchi a spillo nella pupilla

Ciauz
morellik

Post by **fedeliallalinea** » Tue Sep 14, 2004 11:20 am

Per intanto lo aggiungo ai post utilissimi

masterbrian · Post by **masterbrian** » Tue Sep 14, 2004 11:25 am

Mi sembra un ottima idea

Mi offro come tester

xchris · Post by **xchris** » Tue Sep 14, 2004 12:45 pm

l'idea mi sembra ottima...

io farei un Du world pero'.

come al solito faccio il rompiballe.
(scusami non lo faccio apposta

)

Code: Select all

root@lyra xchris # ./efetch.py
* Checking for fetch commands:
        wget    -->  Found
        prozilla        -->  Found
        axel    -->  Found
        lukemftp        -->  Not Found
* Downloading info from http://ftp.easynet.nl/mirror/gentoo/
* Downloading info from http://ftp.snt.utwente.nl/pub/os/linux/gentoo
* Extraction data../
* Database creation..\Traceback (most recent call last):
  File "./efetch.py", line 437, in ?
    main()
  File "./efetch.py", line 313, in main
    d[t[i][0][0]]=t[i][0][1].split()[3]
IndexError: list index out of range

ciao

morellik · Post by **morellik** » Tue Sep 14, 2004 1:18 pm

xchris wrote:l'idea mi sembra ottima...

io farei un Du world pero'.

Grazie..

In effetti questo e' solo un embrione di quello che potrebbe diventare aggiungendo le varie opzioni.

come al solito faccio il rompiballe.
(scusami non lo faccio apposta )

Come si dice: "You are welcome"

Code: Select all

root@lyra xchris # ./efetch.py
* Checking for fetch commands:
        wget    -->  Found
        prozilla        -->  Found
        axel    -->  Found
        lukemftp        -->  Not Found
* Downloading info from http://ftp.easynet.nl/mirror/gentoo/
* Downloading info from http://ftp.snt.utwente.nl/pub/os/linux/gentoo
* Extraction data../
* Database creation..\Traceback (most recent call last):
  File "./efetch.py", line 437, in ?
    main()
  File "./efetch.py", line 313, in main
    d[t[i][0][0]]=t[i][0][1].split()[3]
IndexError: list index out of range

ciao

Questo non l'ho capito. Ho fatto varie prove ma in nessuna esce durante
questa fase a meno che il contenuto dei vari distfiles non differiscano
nel numero dei campi.

Faro' altri test.

CIauz
morellik

xchris · Post by **xchris** » Tue Sep 14, 2004 9:00 pm

effettivamente l'ho rilanciato e non ha dato problemi...
errori non riproducibili...una rogna :S
happy debug

morellik · Post by **morellik** » Wed Sep 15, 2004 7:39 am

xchris wrote:effettivamente l'ho rilanciato e non ha dato problemi...
errori non riproducibili...una rogna :S
happy debug

Ho scoperto l'arcano

E' solo un problema della pagina html che
visualizza la lista dei file. Sono andato nel sito che dava l'errore,
la pagina con la lista dei file e' autogenerata e contiene molto piu' codice html
di quello degli altri siti.

Ciauz
morellik

shev · Post by **shev** » Wed Sep 15, 2004 8:43 am

Ragazzi, siete splendidi! State sfornando tool su tool a velocità notevole, tra l'altro uno più bello e utile dell'altro

Siete quasi contagiosi, vien voglia di scrivere un proprio tool per contribuire (se solo sapessi quale, avete codato tutto voi

)! omplienti ancora.

morellik · Post by **morellik** » Wed Sep 15, 2004 9:28 am

shev wrote:Ragazzi, siete splendidi! State sfornando tool su tool a velocità notevole, tra l'altro uno più bello e utile dell'altro

Siete quasi contagiosi, vien voglia di scrivere un proprio tool per contribuire (se solo sapessi quale, avete codato tutto voi )! omplienti ancora.

Troppo gentile. Ma alla fine sono tutti i frequentatori del forum che incendiano la fiammella che ti porta a mettere per iscritto quello che pensano o che propongono. E' una grande comunita'

Ciauz
morellik

egolf · Post by **egolf** » Fri Oct 01, 2004 10:30 pm

stai ancora sviluppando il tool?
pensavo che fosse interessante avere uno script che fa quello che fa il tuo da mettere in make.conf come FETCHCOMMAND.
è solo un' idea.

dundas · Post by **dundas** » Wed Aug 03, 2005 3:04 am

egolf wrote:stai ancora sviluppando il tool?
pensavo che fosse interessante avere uno script che fa quello che fa il tuo da mettere in make.conf come FETCHCOMMAND.
è ³olo un' idea.

sorry to interrupt you guys, but I searched a lot and found trivil info regarding using axel's multi-thread download capability while using emerge, here it seems you might have some relevant info,

such as how to modify /etc/make.conf (by adding FETCHCOMMAND, and......not sure), after I emerge axel.

any advices are greatly appreciated.

thx man.

dundas · Post by **dundas** » Wed Aug 03, 2005 3:45 am

Never mind man:

I got it working by adding the following to make.conf

FETCHCOMMAND="/usr/bin/axel -a -S10 \${URI} -o \${DISTDIR}"
RESUMECOMMAND="/usr/bin/axel -a -S10 \${URI} -o \${DISTDIR}"

thx anyways

federico · Post by **federico** » Wed Aug 03, 2005 3:56 am

dundas wrote:Never mind man:

I got it working by adding the following to make.conf

FETCHCOMMAND="/usr/bin/axel -a -S10 \${URI} -o \${DISTDIR}"
RESUMECOMMAND="/usr/bin/axel -a -S10 \${URI} -o \${DISTDIR}"

thx anyways

I have to try it

dundas · Post by **dundas** » Wed Aug 03, 2005 4:04 am

good for you, just a reminder that u might want to delete the "-S10"
from it since it will search for mirror which costs u a lot of extra time, and is not necessary for multi-threading.

cheers