Get all links in all pages in one application
- Scrap Forever realiza o Get de todos os links em uma aplicação e navega nas demais páginas para garantir que não fique nenhum link pra trás.
-
-tURL https://site.com.br -
-oOutput File --output SCRAP_OUT Salva data -
-pProxy --proxy SCRAP_PROXY (-p http://127.0.0.1:8080) -
-nThreads, -n 10
$ python3 scrap_forever.py -t https://site.com.br -o output.txt
$ python3 scrap_forever.py -t https://site.com.br -o output.txt -n 20$ python3 scrap_forever.py -t https://site.com.br -o output.txt -p http://127.0.0.1:8080
$ python3 scrap_forever.py -t https://site.com.br -o output.txt -p http://127.0.0.1:8080 -n 20