[tool] Scrivere url su stdout: mDownURL

Message

mouser · Post by **mouser** » Mon Jan 03, 2005 7:27 am

Buongiorno a tutti!!!!!

Ultimamente sto riprendendo in mano un po' di Java, e durante una lunga notte passata a rinfrescarmi la memoria in ufficio, ho partorito questo toolettino, che e' semplice-semplice ma potrebbe servire ogni tanto:

Il file .java:
http://mouser.altervista.org/java/mDownURL/mDownURL.java

Il file .class:
http://mouser.altervista.org/java/mDownURL/mDownURL.class

Semplicemente si becca una URL e la stampa sullo stdout, cosi' da poter redirigere l'output su di un file.
Questo simpaticissimo tool va utilizzato come segue:

Code: Select all

$ java mDownURL http://www.google.it

E questo stampa in console il sito.
Per scaricare in un file di testo locale la pagina selezionata basta fare

Code: Select all

$ java mDownURL http://www.google.it >> googleDown.txt

ps: chiedo a tutti di segnalarmi eventuali (anzi sicuri) bug e problemi vari. Non ho provato ad utilizzarlo perche' non ho a disposizione ne una linuxbox, ne tantomento la possibilita' di utlizzare le API java per connettermi ad un url (dannato firewall

). Ricondo che, nel caso qualcuno si azzardi a chiamare questa versione una alpha, ridero' fragorosamente, poiche' non credo che sia ancora a quel livello.

Ciriciao
mouser

edit: Mi sono dimenticato di ringraziare silian87 per l'aiuto datomi con una prima compilazione del codice. Grazie

gutter · Post by **gutter** » Mon Jan 03, 2005 11:04 am

Ma da lo stesso risultato di:

Code: Select all

wget -O - www.google.com

o non ho capito io?!?

silian87 · Post by **silian87** » Mon Jan 03, 2005 11:12 am

Credo che se e' cosi' allora basta usare:

Code: Select all

curl www.google.it

mouser · Post by **mouser** » Mon Jan 03, 2005 11:33 am

ehm....

mi sa che avete ragione....

Purtroppo non usando molto internet, non ho mai avuto a che fare con questa tipologia di problema, non sapevo delle funzionalita' di wget e non conoscevo curl.

Allora mi sa che ho fatto proprio una gaff

Vabbe'....... uffa! faccio un tool, neanche lo provo ed e' gia' deprecato!!!!
mannaggia!!!!

Ciriciao
mouser

=DvD= · Post by **=DvD=** » Mon Jan 03, 2005 11:41 am

Se puo aiutarti non lo conoscevo nemmeno io curl!

silian87 · Post by **silian87** » Mon Jan 03, 2005 11:44 am

LOL

cmq curl l'ho conosciuto su opendarwin. Offre piu' o meno le stesse funzionalita' di wget, ma di default redirige sullo stdout. Imho wget e' sempre il migliore.

gutter · Post by **gutter** » Mon Jan 03, 2005 11:51 am

mouser wrote: [CUT]
Allora mi sa che ho fatto proprio una gaff

Vabbe'....... uffa! faccio un tool, neanche lo provo ed e' gia' deprecato!!!!
mannaggia!!!!
[CUT]

Non te la prendere io non volevo assolutamente sminuire il tuo lavoro.

La mi era solo una domanda per vedere se le funzionalità dei tool erano le stesse.

mouser · Post by **mouser** » Mon Jan 03, 2005 11:56 am

una domanda a voi utlizzatori di curl e wget.

Suppongo sia possibile fare con wget un

Code: Select all

# wget -O - www.google.com | grep <regexp>

vero???

Stavo scrivendo, sempre per rinfrescarmi la memoria, un tool (che per ora si chiama wgrep) che permette di fare un grep sia su alcune pagine web (tipo www.google.com) ma anche su gruppi di pagine (per esempio un wgrep su mouser.altervista.org/java/ <regexp> cercherebbe in tutti i file e nelle sotto dir le voci che rispondono alla regexp).

Credete possa interessare?

Ciriciao (e grazie per il feedback)
mouser

gutter · Post by **gutter** » Mon Jan 03, 2005 12:01 pm

Non sono sicuro di aver capito bene

Mi spieghi magari con un esempio cosa dovrebbe fare questo tool.

Tiro · Post by **Tiro** » Mon Jan 03, 2005 12:11 pm

io adoro:

Code: Select all

$ curl www.google.it | html2text #opp.
html2text pagina.html

mouser · Post by **mouser** » Mon Jan 03, 2005 12:14 pm

Allora...

Questo tool, chiamato wgrep praticamente fa su pagine web quello che fa grep sull'input passatogli.

Ti faccio un paio di esempi, per farti capire anche se i siti riportati nell'esempio non esistono:

Code: Select all

# wgrep Ciao www.saluti.it
http://www.saluti.it: <LI> <A HREF="prova.html">Ciao</A>

e questo e' per esempio il risultato della ricerca sul sito www.saluti.it: ha trovato una corrispondenza di "Ciao" su quella pagina, e stampa la riga nella quale e' riportata.

Se lo lancio su una directory web, magari con piu' file all'interno posso ottenere una ricerca su tutti i file (e quindi le pagine in quella webdir) e, inoltre su tutte le directory sottostanti. Quindi

Code: Select all

# wgrep Ciao www.saluti.it/varie/
http://www.saluti.it/varie/ciao.html: <TITLE>Ciao, come stai</TITLE>
http://www.saluti.it/varie/ciao.html: <h1> E questa e' Ciao</h1>
http://www.saluti.it/varie/esempio/prova.txt: Questa riga esce cercando Ciao come regexp

Spero di essere stato un po' piu' chiaro... comunque, se non oggi, magari domani metto online il tool, cosi' potete provarlo e vedere se puo' servire.

Ciriciao
mouser

Tiro · Post by **Tiro** » Mon Jan 03, 2005 1:06 pm

ok...capito...

gutter · Post by **gutter** » Mon Jan 03, 2005 5:43 pm

Penso che con un wget e con grep otterrai lo stesso risultato.

mouser · Post by **mouser** » Tue Jan 04, 2005 6:19 am

gutter wrote:Penso che con un wget e con grep otterrai lo stesso risultato.

Anche su piu' file appartenenti a quel sito?
Oppure devo fare wget per ogni pagina?
Sai, se ci sono 50 pagine html e devo cercare tutte le ricorrenze di una determinata parola, a meno che anche wget non supporti questa cosa, lanciare 50 wget mi costa un pelino di piu' che lanciare un mio wgrep.
Purtroppo non so utilizzare bene wget e quindi devo continuare a spillare informazioni dalle tue esperienze.

Ciriciao
mouser

gutter · Post by **gutter** » Tue Jan 04, 2005 10:06 am

Credo che basti usare:

Code: Select all

$ wget -r -np -O - www.tuosito.com | grep <parola>

Non ho provato, ma penso che sia circa quello che vuoi tu