Voici une liste de commandes utiles pour les Dorks liés aux fichiers volumineux :

Un google Dork est une signature typique d’une technologie Web parmi tout ce qui est indexé par Google. Ils sont lié à ce qu’on appelle plus généralement les Google Hacks.

Le Google hacking est une technique consistant à utiliser un moteur de recherche, généralement Google, en vue de chercher des vulnérabilités ou de récupérer des données sensibles. Cette technique s’appuie sur les résultats de l’exploration et de l’indexation des sites internet par le robot Googlebot. Source: Wikipédia

Pour reprendre le téléchargement depuis là où il s’était arrêté:

1
wget -c www.myfileserver.com/file1.zip

Pour télécharger depuis différents sites:

1
2
3
4
5
wget -i /path/to/inputfile
# /path/to/inputfile will contain:
http://www.myfileserver.com/file1.zip
http://www.myfileserver.com/file2.zip
http://www.myfileserver.com/file3.zip

Pour faire 10 retries en cas d’arrêt de téléchargement:

1
wget -t 10 -i /path/to/inputfile

Pour faire 10 retries en cas d’arrêt de téléchargement + timeout de 10 secondes entre 2 retries:

1
wget -t 10 -T 10 -i /path/to/inputfile

Pour attendre entre 2 téléchargements:

1
wget -w 60 -i /path/to/inputfile

Pour ajouter un quota de 100m (en cas de limitation de bandwidth):

1
wget -q 100m -i /path/to/inputfile

Pour télécharger tous les fichiers d’un dossier de manière récursive:

1
wget -r www.myfileserver.com

Par défaut la profondeur de téléchargement est de 5. Pour avoir un téléchargement de tout le contenu d’un site:

1
wget -r -l inf www.myfileserver.com

Pour télécharger tous les fichiers d’un dossier de manière récursive et tout mettre dans le même dossier:

1
wget -nd -r

L’inverse (i.e. créer l’arborescence de dossiers):

1
wget -x -r

Pour télécharger seulement certains types de fichiers:

1
wget -A "*.mp3" -r

L’inverse (télécharger tous les types de fichiers sauf):

1
wget -R "*.exe" -r

Fake 302 redirects et Robots.txt

1
wget -x -P local_dir -U Mozilla --wait=60 --limit-rate=20K --convert-links -p -m <url-du-site-a-scraper>

Ajouter -nH à la commande précédente pour télécharger uniquement un dossier.