Skip to content

baichuan3/matrix

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

7 Commits
 
 
 
 
 
 
 
 

Repository files navigation

matrix

a scrapy crawler demo, for crawl taobao item, just for fun.

从淘宝和天猫上爬取一部分测试数据,支持自动登录,自动设别天猫和淘宝模板,递归的爬取网页并将数据解析到本地日志文件。

爬虫流程和需要解决的问题:

  • 自动登录问题:许多社交网站(如微博),电商网站(如淘宝天猫)都需要登录,解决Cookie的自动更新;

  • 递归抓取网页:URL嵌套爬取网页,需记录哪些网页已爬过,维护待爬取列表;

  • 网页解析:XPath或正则表达式,对网页内容做预解析;

  • 针对复杂网页,例如js生成的页面,如何解析;可以考虑模拟js解析器?

  • 实现增量爬取:需记录哪些网页有更新,同步更新的网页数据;

  • 预处理数据再加工,格式化为待使用数据格式;

  • 避免Spider被封杀,被堵截:变换用户,变换agent,访问google cache,或者使用虚拟IP;

  • 大规模爬取,如何并行,分布式部署,可能的性能瓶颈:多线程,网络io,memory?

About

a crawler base on scrapy, for crawl taboo items

Resources

License

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Languages