rqlite 相关操作说明
项目总为实现 sqlite 添加账号和密码，以满足信息安全的需求。
鉴于对 sqlite 实现添加账号和密码比较复杂和困难，项目中使用了分布式 rqlite ，故转而研究 rqlite 如何添加账号和密码。
项目概况：
开发语言：Python
存储： sqlite （rqlite）
整体流程：
- rqlite 介绍
- rqlite CLI 客户端介绍
- rqlite Basic Auth
- pyrqlite 介绍
- sqlalchemy-rqlite 介绍
1. rqlite 使用介绍
作者博客
rqlite : 基于 SQLite 构建的轻量级、分布式关系数据库， 使用Go 编程实现，使用 Raft 算法来确保所有 SQLite 数据库实例的一致性。
- 下载地址和方式
以 Linux版本为例， 解压之后：存在： rqlite 和 rqlited 两个文件
- 启动服务
./rqlited /pathdir/rqlitedata
# 在 /pathdir/rqlitedata 目录下存放数据文件和其他一些配置文件
peers.json raft.db snapshots
- 启动多个节点
rqlited -http-addr localhost:4003 -raft-addr localhost:4004 -join http://localhost:4001 /pathdir/rqlitedata1
rqlited -http-addr localhost:4005 -raft-addr localhost:4006 -join http://localhost:4001 /pathdir/rqlitedata2
rqlite 支持Securing 操作
- File system security
- Network security
- HTTPS API
- Node-to-node encryption
- Basic Auth
2. rqlite CLI 命令行使用介绍
启动服务后可以使用命令行工具进行数据的增删改查：
./rqlite
127.0.0.1:4001>
# sqlite 的语法的增删改查都支持
演示示例：
$ ./rqlite
127.0.0.1:4001> CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT)
0 row affected (0.000362 sec)
127.0.0.1:4001> .tables
+------+
| name |
+------+
| foo |
+------+
127.0.0.1:4001> .schema
+---------------------------------------------------------------+
| sql |
+---------------------------------------------------------------+
| CREATE TABLE foo (id INTEGER NOT NULL PRIMARY KEY, name TEXT) |
+---------------------------------------------------------------+
127.0.0.1:4001> INSERT INTO foo(name) VALUES("fiona")
1 row affected (0.000117 sec)
127.0.0.1:4001> SELECT * FROM foo
+----+-------+
| id | name |
+----+-------+
| 1 | fiona |
+----+-------+
127.0.0.1:4001> quit
bye~
命令行工具的参数说明
./rqlite -h
Options:
-h, --help
display help information
-s, --scheme[=http]
protocol scheme (http or https)
-H, --host[=127.0.0.1]
rqlited host address
-p, --port[=4001]
rqlited host port
-P, --prefix[=/]
rqlited HTTP URL prefix
-i, --insecure[=false]
do not verify rqlited HTTPS certificate
除命令行之外，rqlite 支持 HTTP API
通过 HTTP API 完成对数据库的增删改查。
演示示例：
# 创建数据库
curl -X POST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d '[
"CREATE TABLE foo (id integer not null primary key, name text)"
]'
# 返回是个 json 格式的数据
{
"results": [
{
"last_insert_id": 1,
"rows_affected": 1,
"time": 0.00886
}
],
"time": 0.0152
}
# 查询数据
curl -G 'localhost:4001/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
# 返回结果
{
"results": [
{
"columns": [
"id",
"name"
],
"types": [
"integer",
"text"
],
"values": [
[
1,
"fiona"
]
],
"time": 0.0150043
}
],
"time": 0.0220043
}
# 也有很好的错误处理机制，比如查询一个不存在的数据库，或者语法错误，都能很好的捕获
curl -XPOST 'localhost:4001/db/execute?pretty&timings' -H "Content-Type: application/json" -d "[
\"INSERT INTO nonsense\"
]"
{
"results": [
{
"error": "near \"nonsense\": syntax error"
}
],
"time": 2.478862
}
# 还可显示响应信息
curl -v -G 'localhost:4003/db/query?pretty&timings' --data-urlencode 'q=SELECT * FROM foo'
# 响应信息
* About to connect() to localhost port 4001 (#0)
* Trying ::1...
* Connection refused
* Trying 127.0.0.1...
* Connected to localhost (127.0.0.1) port 4001 (#0)
* Server auth using Basic with user 'bob'
> GET /db/query?pretty&timings&q=SELECT%20%2A%20FROM%20foo HTTP/1.1
> Authorization: Basic Ym9iOnNlY3JldDE=
> User-Agent: curl/7.29.0
> Host: localhost:4001
> Accept: */*
>
< HTTP/1.1 200 OK
< Content-Type: application/json; charset=utf-8
< X-Rqlite-Version: v4.0.0
< Date: Tue, 14 Nov 2017 08:07:27 GMT
< Content-Length: 276
<
{
"results": [
{
"columns": [
"id",
"name"
],
"types": [
"integer",
"text"
],
"time": 0.000116084
}
],
"time": 0.000741562
* Connection #0 to host localhost left intact
3. rqlite Basic Auth
其他安全策略暂时不研究，研究认证方式。
具体做法是：
配置文件： config.json 规定相应用户的操作权限
启动服务传入配置文件
命令行操作 -H 传入参数
HTTP API 则也需要传入用户名和密码
演示：config.json
1. 用户名、密码和操作权限设置
[
{
"username": "bob",
"password": "secret1",
"perms": ["all"]
},
{
"username": "mary",
"password": "secret2",
"perms": ["query", "status"]
}
]
# 配置了两个用户名和密码，两个用户的操作权限不一致，mary 用户只要query , status 权限
注: 用户权限包括：
- all: user can perform all operations on a node.
- execute: user may access the execute endpoint.
- query: user may access the query endpoint.
- load: user may load an SQLite dump file into a node.
- backup: user may perform backups.
- status: user can retrieve status information from the node.
- join: user can join a cluster. In practice only a node joins a cluster.
- remove: user can remove a node from a cluster.
2. 传入认证参数启动节点服务
./rqlited -auth=/root/config.json -http-addr localhost:4001 -raft-addr localhost:4002 /root/data/rqlite
3. 若使用命令界面访问认证的数据库
bob，secret1 为配置文件中的用户名和密码
./rqlite -H bob:secret1@localhost
bob:secret1@localhost:4001>
# 正常使用 SQL 实现增删改查，不添加-H 参数，报错，无法读取数据库数据
4. 若使用HTTP API 的方式访问认证的数据库
访问 API 有所差异
curl -G 'https://bob:secret1@localhost:4001/db/query?pretty&timings' \
--data-urlencode 'q=SELECT * FROM foo'
# API 中带入了用户名和密码
4. pyrqlite 使用介绍
假设启动了节点服务，那如何实现编程实现对数据库的增删改查？
pyrqlite 和绝大多数数据库API 的使用方法一致：
安装
- 下载源码
- python setup.py install
基本使用
import pyrqlite.dbapi2 as dbapi2
# Connect to the database
connection = dbapi2.connect(
host='localhost',
port=4001,
)
try:
with connection.cursor() as cursor:
cursor.execute('CREATE TABLE foo (id integer not null primary key, name text)')
cursor.executemany('INSERT INTO foo(name) VALUES(?)', seq_of_parameters=(('a',), ('b',)))
with connection.cursor() as cursor:
# Read a single record
sql = "SELECT `id`, `name` FROM `foo` WHERE `name`=?"
cursor.execute(sql, ('a',))
result = cursor.fetchone()
print(result)
finally:
connection.close()
# 结果
OrderedDict([('id', 1), ('name', 'a')])
若启动了一个配置认证信息的节点如何操作pyrqlite
最新版本，已经实现创建数据库连接时配置 user 和 paasword
connection = dbapi2.connect(
host='localhost',
port=4001,
user='bob',
password='secret1'
)
5. sqlalchemy-rqlite 使用介绍
如果对直接编写SQL 语句容易出错，作者还提供了ORM 方式。
安装
- 下载源码
- python setup.py install
基本使用
from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/', echo=True)
如果对已经配置认证信息的节点进行连接
from sqlalchemy import create_engine
engine = create_engine('rqlite+pyrqlite://localhost:4001/?user=bob&password=secret1', echo=True)
(全文完)
