基于Inception & Yearning做SQL审核的实践（安装篇）

2019年6月9日 207次阅读

SQL审核的需求

SQL审核是保证DDL&DML正常使用，不会造成线上事故的重要手段。经研究，来自于去哪儿网的Inception有较大的使用基础，结合一些上层的人机交互系统可以实现SQL审核、执行以及备份和恢复功能。

Inception

Inception是一个自动化运维工具，在Mysql前做一个审核和操作的屏障。跟Inception的交互是程序级别的，即通过Python或其他程序编程实现对Inception的命令调用，并解析结果。

Inception的文档地址：http://mysql-inception.github.io/inception-document/

Yearning

由于Inception是一个基础工具，如果要做SQL审核，系统级的业务操作（提DDL&DML，审核，执行等）还需要一个人机交互的界面，Yearning就是这么一个Python实现的web系统。

Yearning的文档地址：https://cookiey.github.io/Yearning-document/

文档计划

本篇先把安装问题讲清楚，其实参考作者文档已经很清晰，此处仅把我在安装过程中的问题记录下来，供大家参考。

后续分Inception和Yearning做业务上的专题研究。

Inception安装

参考资料：http://mysql-inception.github.io/inception-document/install/

  1. Inception的编译，使用源码编译时，首先需要对bison包进行降级（yum收录的是3.0.4，源码编译2.5）

bison 2.5的源码编译
代码获取：http://ftp.gnu.org/gnu/bison/bison-2.5.tar.bz2
解压缩：tar xf bison-2.5.tar.bz2
进入目录：cd bison-2.5
检查并编译源码：./configure && make && make install
其中编译问题用以下方式解决
解决编译问题：https://www.cnblogs.com/hjj801006/p/3988220.html

  1. 拷贝启动文件：
cd /root/inception/debug/sql
cp Inception gen_lex_hash /usr/local/bin/
  1. 制作配置文件
    cat /etc/inception/inc.cnf
[inception]
general_log=1
general_log_file=/var/log/inception.log
port=6669
socket=/var/run/inc.socket
character-set-client-handshake=0
character-set-server=utf8
inception_remote_system_password=123
inception_remote_system_user=root
inception_remote_backup_port=3306
inception_remote_backup_host=127.0.0.1
inception_support_charset=utf8mb4
inception_enable_nullable=0
inception_check_primary_key=1
inception_check_column_comment=1
inception_check_table_comment=1
inception_osc_min_table_size=1
inception_osc_bin_dir=/var/temp
inception_osc_chunk_time=0.1
inception_enable_blob_type=1
inception_check_column_default_value=1

inc.socket不用找，会在启动时自动生成。

  1. 启动Inception的命令如下
Inception --defaults-file=/etc/inception/inc.cnf

启动后使用mysql的客户端进行连接（mycli会有错误，貌似是python的兼容问题）

mysql -uroot -h127.0.0.1 -P6669

但是只能本机访问，远程访问不了，原因还未知。（更新：在安装Yearning时发现了阿里云的安全组问题，可能同样是这个原因导致。）

Yearning安装

参考资料：https://cookiey.github.io/Yearning-document/install/

  1. 安装pip3
    1.1 安装python3的依赖包：
    sudo yum install openssl-devel
    1.2 获取python3的压缩包：
    wget https://www.python.org/ftp/python/3.6.4/Python-3.6.4.tgz
    1.3 安装python3（需要root权限）
tar zxvf Python-3.6.4.tgz
cd Python-3.6.4
./configure
make && make install
  1. 安装Yearning
    2.1 用pip3安装依赖包（txt文件在src目录中）
    pip3 install -r requirements.txt
    2.2 创建数据库实例yearning
    2.3 将该数据库实例的连接信息写入develop.conf。升级请注意：1.0.0发布后，该文件增加了两个属性：ldap_type=1和smtp_port=，如果是cp原有的配置文件覆盖新下载的，要加上这两个配置
    2.4 初始化数据库
    python3 manage.py makemigrations && python3 manage.py migrate
    2.5 添加初始化用户
echo "from core.models import Account;Account.objects.create_user(username='admin', password='Yearning_admin', group='admin',is_staff=1)" | python3 manage.py shell
#升级请注意，从1.0.0开始，要补充下面这句权限的配置
echo "from core.models import grained;grained.objects.get_or_create(username='admin', permissions={'ddl': '1', 'ddlcon': [], 'dml': '1', 'dmlcon': [], 'dic': '1', 'diccon': [], 'dicedit': '0', 'query': '1', 'querycon': [], 'user': '1', 'base': '1', 'dicexport': '0'})" | python3 manage.py shell 初始化权限

2.6 复制网页的静态文件
cp -rf Yearning/webpage/dist/* $NGINX_HOME/html/
2.7 修改并启动nginx

《基于Inception & Yearning做SQL审核的实践（安装篇）》 此配置可用

2.8 启动django（注意在src目录）

python3 manage.py runserver 0.0.0.0:8000

2.9 修改阿里云的安全组策略（解决不能用公网IP访问的问题，请一定注意增加80和8000两个端口，否则还是登录不了），参考以下文章

http://blog.csdn.net/LJFPHP/article/details/78670459

至此用公网ip访问可出现如下界面，说明安装成功

《基于Inception & Yearning做SQL审核的实践（安装篇）》 Yearning登录页面

初始用户见#2.5，登录后如下图所示（如果登录不了，注意看#2.9是否增加了8000的安全组策略）

《基于Inception & Yearning做SQL审核的实践（安装篇）》 Dashboard

1.0.0升级后，之前的用户要重新配置权限，但有些权限可能存在一些bug，例如数据字典修改时的403问题

至此安装全部完成！

现在的问题：

  1. 界面运行比较慢，估计是Python的原因，暂时不予解决；
  2. 正常的sql，检测不通过，怀疑是Inception的配置问题。经查，是测试数据库的问题。一个简单的现象就是用mysql客户端（mycli同样）不能加密码输入（-p参数不存在），其他数据库没有这个问题，即如果客户端能直连，Inception的各项功能也就没有问题。怀疑可能是root用户的原因，或者是阿里云的原因。由于不影响评估，也暂时不理会了。
点赞