我们会经常提到BI系统(Business Intelligence),它是一个重要的数据出入口,帮助数据,帮助企业获取数据表报制定战略决策。大家熟知的有FineBI和Microsoft的powerBI,但是使用成本都不低需要授权需要客户端,使用配置也相当繁琐。笔者今天给大家带来的是一款开源纯Web网页的数据工具。
附上:
喵了个咪的博客:w-blog.cn
Redash官方Git地址:https://github.com/getredash/redash
Redash官方文档:https://redash.io/help/
PS:当前最新版本为V8版本,低版本向高版本升级会存在一些奇怪问题请做好备份在进行升级
一、redash介绍
作为一名软件工程师最头大的就是,产品不停的要求拉这种数据哪种数据,或者是提了一堆数据报表的需求一直写CURD没有技术含量,重复的事情就应该用工具来解决,甚至于让产品去自助解决。笔者也一直在找工具,来解决整个公司研发在数据输出问题,一个不经意的机会发现Redash这个开源组件。当然选择Redash也有它自身的优势。
对于一个BI来说最重要的是支持的数据源的种类,Redash支持超过35个数据源,几乎可以满足所有的场景:
- 主流的MySQL、PostgreSQL、MongoDB、SQL Server等
- 大数据数据库Hive、Impala、Presto等
- 新型数据库ClickHouse、CockroachDB、InfluxDB等
- 自定义Python脚本、URL请求等
Redash包含两个部分:
查询编辑器:考虑使用JS Fiddle进行SQL查询。通过共享数据集和生成数据的查询,您可以以开放的方式共享组织中的数据。这样,每个人都可以不仅查看结果数据集,而且可以查看生成它的过程。也可以将其分叉并生成新的数据集并获得新的见解。
可视化和仪表板:一旦有了数据集,就可以从中创建不同的可视化文件,然后将多个可视化文件组合到一个仪表板中。目前Redash支持图表,数据透视表,队列和更多。
二、redash安装
Ubuntu 完整安装方式如果是ubuntu直接跑官方的命令:
git clone https://github.com/getredash/setup.gitcd setup// 步骤一 安装docker// 步骤二 创建数据库映射目录// 步骤三 创建基础配置文件// 步骤四 安装docker-composer初始化数据库,运行Redash./setup.sh
笔者平时使用ubuntu比较少,centos是平时主要用的系统,笔者根据官方的安装方式整理了一套基本有docker就可以安装的教程,前提准备好 docker 和 docker-composer,可以参考笔者之前的文章:
mkdir redashsetupcd redashsetup/// 创建数据库映射目录和基础配置文件vim redashenv.sh#!/usr/bin/env bash# This script setups dockerized Redash on Ubuntu 18.04.set -eumkdir /opt/redashmkdir /opt/redash/postgres-dataREDASH_BASE_PATH=/opt/redash if [[ -e $REDASH_BASE_PATH/env ]]; then rm $REDASH_BASE_PATH/env touch $REDASH_BASE_PATH/env fiCOOKIE_SECRET=$(pwgen -1s 32)SECRET_KEY=$(pwgen -1s 32)POSTGRES_PASSWORD=$(pwgen -1s 32)REDASH_DATABASE_URL=\"postgresql://postgres:${POSTGRES_PASSWORD}@postgres/postgres\"echo \"PYTHONUNBUFFERED=0\" >> $REDASH_BASE_PATH/envecho \"REDASH_LOG_LEVEL=INFO\" >> $REDASH_BASE_PATH/envecho \"REDASH_REDIS_URL=redis://redis:6379/0\" >> $REDASH_BASE_PATH/envecho \"POSTGRES_PASSWORD=$POSTGRES_PASSWORD\" >> $REDASH_BASE_PATH/envecho \"REDASH_COOKIE_SECRET=$COOKIE_SECRET\" >> $REDASH_BASE_PATH/envecho \"REDASH_SECRET_KEY=$SECRET_KEY\" >> $REDASH_BASE_PATH/envecho \"REDASH_DATABASE_URL=$REDASH_DATABASE_URL\" >> $REDASH_BASE_PATH/envchmod -R 777 redashenv.sh ./redashenv.sh
cat /opt/redash/envPYTHONUNBUFFERED=0REDASH_LOG_LEVEL=INFOREDASH_REDIS_URL=redis://redis:6379/0POSTGRES_PASSWORD=XjGVGggWXHIRyOP5bOaVsPQ8AKunVsuXREDASH_COOKIE_SECRET=9hihbX7BTziWKO7kolldC486QFoo5aU2REDASH_SECRET_KEY=tyS5wWdp8l4gq2YPw9sbrnJwaKbVdeEpREDASH_DATABASE_URL=postgresql://postgres:XjGVGggWXHIRyOP5bOaVsPQ8AKunVsuX@postgres/postgres
如果需要使用邮件相关功能,如用户邀请,密码重置,警报触发时等等功能需要增加如下配置:
vim /opt/redash/envREDASH_MAIL_SERVER (default: localhost)REDASH_MAIL_PORT (default: 25)REDASH_MAIL_USE_TLS (default: false)REDASH_MAIL_USE_SSL (default: false)REDASH_MAIL_USERNAME (default: None)REDASH_MAIL_PASSWORD (default: None)REDASH_MAIL_DEFAULT_SENDER (Email address to send from)
version: \"2\"services: server: image: redash/redash:8.0.0.b32245 depends_on: - postgres - redis environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: \"INFO\" REDASH_REDIS_URL: \"redis://redis:6379/0\" REDASH_DATABASE_URL: \"postgresql://postgres@postgres/postgres\" REDASH_RATELIMIT_ENABLED: \"false\" REDASH_WEB_WORKERS: 4 restart: always command: server ports: - \"5000:5000\" scheduler: image: redash/redash:8.0.0.b32245 depends_on: - postgres - redis environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: \"INFO\" REDASH_REDIS_URL: \"redis://redis:6379/0\" REDASH_DATABASE_URL: \"postgresql://postgres@postgres/postgres\" REDASH_RATELIMIT_ENABLED: \"false\" QUEUES: \"celery\" WORKERS_COUNT: 1 restart: always command: scheduler scheduled_worker: image: redash/redash:8.0.0.b32245 depends_on: - postgres - redis environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: \"INFO\" REDASH_REDIS_URL: \"redis://redis:6379/0\" REDASH_DATABASE_URL: \"postgresql://postgres@postgres/postgres\" REDASH_RATELIMIT_ENABLED: \"false\" QUEUES: \"scheduled_queries,schemas\" WORKERS_COUNT: 1 restart: always command: worker adhoc_worker: image: redash/redash:8.0.0.b32245 depends_on: - postgres - redis environment: PYTHONUNBUFFERED: 0 REDASH_LOG_LEVEL: \"INFO\" REDASH_REDIS_URL: \"redis://redis:6379/0\" REDASH_DATABASE_URL: \"postgresql://postgres@postgres/postgres\" REDASH_RATELIMIT_ENABLED: \"false\" QUEUES: \"queries\" WORKERS_COUNT: 2 restart: always command: worker redis: image: redis:5.0-alpine restart: always postgres: image: postgres:9.6-alpine env_file: /opt/redash/env volumes: - /opt/redash/postgres-data:/var/lib/postgresql/data restart: always nginx: image: redash/nginx:latest ports: - \"8880:80\" depends_on: - server links: - server:redash restart: always
初始化数据库依赖:
docker-compose run --rm server create_dbCreating network \"data_default\" with the default driverCreating data_redis_1 ... doneCreating data_postgres_1 ... done[2019-10-31 04:43:15,422][PID:1][INFO][alembic.runtime.migration] Context impl PostgresqlImpl.[2019-10-31 04:43:15,422][PID:1][INFO][alembic.runtime.migration] Will assume transactional DDL.[2019-10-31 04:43:15,437][PID:1][INFO][alembic.runtime.migration] Running stamp_revision -> e5c7a4e2df4d
启动redash:
docker-compose up -d
通过nginx的8880端口即可访问,接下来就可以配置管理员账号的用户名和密码开始使用了:
在使用上的一些建议
- 一个用户一个账号,不混用账号
- 使用分组功能赋予对应权限,按照业务区分权限
- 数据库的配置使用只读账号配置,避免从BI系统获得数据库高权限
- 数据库的账号只给单库权限,甚至于给到单表权限控制数据,尽可能控制数据的颗粒度
- 配置好邮件可以使用邮件报警,对于不正常的数据进行检测报警
本文来自投稿,不代表重蔚自留地立场,如若转载,请注明出处https://www.cwhello.com/297543.html
如有侵犯您的合法权益请发邮件951076433@qq.com联系删除