Skip to content

💥🔥 大数据生态解决方案数据平台:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

License

Notifications You must be signed in to change notification settings

darcy168/alldata

 
 

Repository files navigation

AllData 大数据生态解决方案数据平台

中文 | English

Demo | Documentation | Installation | Run | Screenshot | Architecture | Integration | Compare | Community & Sponsorship


image


image


Architecture


image


image


Integration

Data Quality


image


image


image


image


image


image



Livy访问查看JOB

image


image



Flink1.13.6整合引入最新Flink1.16 OGG-JSON解析

image

image

image

S3 Hudi成功写入

image

image

Dlink批流一体平台 image PERJOB启动FlinkSQL image image


Demo EXAMPLES


image

image

image

image


1、数据平台

        AllData is one of the few open source big data platform projects on Github. It will develop into a successful solution to solve a series of problems in big data e-commerce scenarios.

        It will also become a general big data base for other developers to use and Contribution, my original intention is to create a product that is useful to society.

Component Description Important Composition
bdp-ai AI FOR ALL DATA PLATFORM artificial intelligence engine 人工智能引擎
bdp-business BUSINESS FOR ALL DATA PLATFORM 商业项目
bdp-compute BUSINESS FOR ALL DATA PLATFORM CALCULATION ENGINE 计算引擎
bdp-devops DEVOPS FOR ALL DATA PLATFORM O&M Engine 运维引擎
bdp-assembly whole package build 整包构建
bdp-docs Document 文档
bdp-govern DATA GOVERN FOR ALL DATA PLATFORM Data Governance Engine 数据治理引擎
bdp-integrate DATA Integrate FOR ALL DATA PLATFORM Data Integration Engine 数据集成引擎
bdp-ods DATA ODS FOR ALL DATA PLATFORM data acquisition engine 数据采集引擎
bdp-olap OLAP FOR ALL DATA PLATFORM OLAP query engine OLAP查询引擎
bdp-optimize OPTIMIZE FOR ALL DATA PLATFORM performance optimization engine 性能优化引擎
bdp-storage DATABASES FOR ALL DATA PLATFORM distributed storage engine 分布式存储引擎

2、商城展示


image

image

image

image

image

image


image

image

image

image

image

image

image



image

image

image

image


3、数据来源

	商城前台:
		mall-shopping-app: 商城App
		mall-shopping-app-service: 商城App服务
		mall-shopping-wc: 商城小程序
		mall-shopping-mobile: 商城前台
		mall-shopping-pc: 商城pc端
		pcAdminService: 商城pc端服务
		mobileService: 商城前台服务(小程序和前台接入此接口)
	商城后台:
		mall-admin-web: 商城后台
		pcAdminService: 商城后台服务

4、数据收集

log-collect-server:
服务端日志收集系统
log-collect-client:
支持各app集成的客户端SDK,负责收集app客户端数据;
data-import-export:
基于DataX实现数据集成(导入导出)
data-spider:
爬虫平台支持可配置的爬取公网数据的任务开发;

image

image

image


5、数据存储

分布式文件系统:hdfs
分布式数据库:hbase、mongodb、elasticsearch
分布式内存存储系统:redis

6、数据计算

compute-mr(离线计算): Hive、MR
compute-realtime(流计算): storm、flink
multi-dimension-analysis(多维度分析): kylin, spark

7、数据开发

task-schedular: 任务调度
task-ops: 任务运维

image

image

image


8、数据产品

data-face: 数据可视化
data-insight: 用户画像分析

9、数据应用

system-recommender: 推荐
system-ad: 广告
system-search: 搜索
system-anti-cheating: 反作弊
system-report-analysis: 报表分析
system-elk: ELK日志系统,实现日志搜索平台
system-apm: skywalking监控平台
system-deploy: k8s,scala,playframework,docker打包平台。
job-schedule: 任务提交平台

image


Installation | ## Run

10、启动配置教程

10.1 启动前,打包dubbo-servie项目,进入dubbo目录,

执行mvn clean package -DskipTests=TRUE打包,然后执行mvn install.

10.2 启动dubbo项目,配置tomcat端口为8091

image

10.3 启动商城项目的多个子系统

后台:访问http://localhost:8090

10.3.1、前端:启动mall-admin-web项目,进入项目目录,执行npm install,然后执行npm run dev;

10.3.2、后端:启动pcAdminService/mall-admin-search项目,

配置tomcat端口为8092,接着启动pcManage项目,tomcat端口配置为8093;

image

image

前台:小程序手机预览,移动端访问:http://localhost:6255

10.3.3、小程序和移动端

10.3.3.1、前端:商城小程序,启动mall-shopping-wc项目,

安装微信开发者工具,配置开发者key和secret,

使用微信开发者工具导入即可,然后点击编译,可以手机预览使用。

image

10.3.3.2、前端:商城移动端,启动mall-shopping-mobile,

进入项目目录,执行npm install和npm run dev;

10.3.3.3、后端:小程序和移动端用的是同一个后台服务,

启动mobileService项目,进入项目目录,配置tomcat端口8094

image

10.3.4、商城PC端 访问http://localhost:8099

10.3.4.1、前端:启动mall-shopping-pc项目,

进入项目目录,执行npm install和npm run dev;

10.3.4.2、后端:启动pcAdminService项目,配置tomcat端口为8095;

image

11、DevOPS

11.1 容器化部署system-deploy

image

image

11.2、自动化运维平台system-devops

image

11.3、使用Kong作为调用中心网关入口system-api-gateway

image

image

11.4、日志中心system-elk

image

11.5、告警平台system-alarm-platform

11.6 监控系统

image

11.7 数据采集

image

11.8 数据展示

image

11.9 监控中心system-apm

image

11.10 使用Apollo作为配置中心system-config

image

Community & Sponsorship

12、技术交流群二维码


## Github大数据平台QQ群号:935658273

Github大数据QQ群二维码

image


个人微信

image


About

💥🔥 大数据生态解决方案数据平台:基于大数据、数据平台、微服务、机器学习、商城、自动化运维、DevOps、容器部署平台、数据平台采集、数据平台存储、数据平台计算、数据平台开发、数据平台应用搭建的大数据解决方案。

Resources

License

Stars

Watchers

Forks

Packages

No packages published

Languages

  • Java 62.1%
  • PLpgSQL 10.2%
  • JavaScript 9.3%
  • Python 4.4%
  • Lua 2.5%
  • HTML 2.3%
  • Other 9.2%