之前学习scrapy写了一个lagou的爬虫，做到了可爬取任意岗位的全国所有岗位数据。最近在学习web开发，正好借机会实践一波，利用django+scrapy，把抓取到的数据进行可视化分析，做统计数据的WEB展示。
数据源爬取：Scrapy + Mongodb
二次数据分析：结巴分词
WEB后端展示：Django + RESTful API + Postgre
WEB前端:Flask + Jinja2渲染 + Redis
部署基于Centos7 + Gunicorn(gevent)。
-
Notifications
You must be signed in to change notification settings - Fork 0
defland/jobstat
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
IT职位数据分析可视化站点，在几万条lagou岗位信息的基础上进行数据分析。
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published