Extraire un site web

[Master_Mister]

Salut,

Je me cherche un logiciel qui me permettrait d'extraire un contenu d'un site web au complet incluant les fichiers zip. J'ai essayé HTTrack et un plug in de Firefox Down them all, mais sans succès.

En connaissez-vous un?

Merci de votre aide, amis(es) éboueurs.

[Oshino]

HTTrack fonctionne bien sous 7 habituellement. Lis bien les instructions.

http://www.gratilog.net/xoops/modules/mydownloads/viewcat.php?cid=102

[Master_Mister]

HTTrack fonctionne bien sous 7 habituellement. Lis bien les instructions.

http://www.gratilog....cat.php?cid=102

En effet ,en gossant dans les settings, on peut bypasser le fichier robot.txt qui contient exactement tous les URL des fichiers que j'aimerais télécharger. Il ne me manque que les filenames.

Je vais essayer de trouver un filtre qui me permettrait de trouver les noms des fichiers en question.

Merci

[Cixx6]

Si tu connais le Python, Scrapy est pas mal puissant. Sinon, y'a toujours moyen d'apprendre, c'est pas compliqué : http://scrapy.org

[Master_Mister]

Si tu connais le Python, Scrapy est pas mal puissant. Sinon, y'a toujours moyen d'apprendre, c'est pas compliqué : http://scrapy.org

Je ne peux pas dire que ça me tente d'apprendre Python...

[Cixx6]

SInon avec les mots clés 'web scrape' sur google, tu peux facilement trouver des alternatives à HTTrack.

[Thousand Sons]

Je ne peux pas dire que ça me tente d'apprendre Python...

C'est tellement hardcore/obscure comme langage.

[Master_Mister]

Finalement, je me suis fait un script en bash en me servant des informations trouvées dans le fichier robots. Je pense que dans 120 heures, le script aura fait toutes les combinaisons possibles.

[Cixx6]

Finalement, je me suis fait un script en bash en me servant des informations trouvées dans le fichier robots. Je pense que dans 120 heures, le script aura fait toutes les combinaisons possibles.

En effet le bash c'est un bel option. As-tu déjà essayé le PowerShell chez M$ ? Personnellement je trouve ça quand même puissant et facile à apprendre.

[Master_Mister]

En effet le bash c'est un bel option. As-tu déjà essayé le PowerShell chez M$ ? Personnellement je trouve ça quand même puissant et facile à apprendre.

J'ai eu des cours en PS, c'est vrai que c'est pas mal surtout quand tu dis que ça vient de Micro$oft

J'ai pas Windows anyway et je suis habitué en bash.