EOS同步到MongoDB的坑坑洼洼

对于EOS,  因为有很高并发需要, 才有了同步到MongoDB的想法, 所幸, EOS对MongoDB支持非常友好, 这确实比ETH强.  为了同步EOS, 前后一两周,  一路踩坑过来, 真是不少问题, 针对这些坑, 做一些总结

服务器选型, 多核心+SSD

EOS到MongoDB同步过程, 对硬盘IO和CPU要求都很高, 至少8核心CPU, 32G以上内存, 本地SSD作为数据盘是比较合适的方案, 

可以先按量购买进行测试,瓶颈总是在IO, 然后是CPU, 然后又是IO, 不断切换,直到找到稳定的方法, 这样会更省钱,

你也可以选择SSD云盘, 或者MongoDB云服务, 只要你钱多, 还不怕折腾, 事实上, IO能超过本地SSD硬盘阵列的很少见

另外, 使用中国境外的服务器, 省去很多因为担心国家防火墙的问题, 浪费宝贵的时间

使用EOS离线包, EOS开始并不需要很高的带宽, 5Mbps足以

当前2018/11/14, EOS的数据在200G之内, MongoDB的数据在2T之内,

我们使用CentOS 7.x版本, 

设置好数据盘后, 可以创建好mongodb和eos的目录做后续准备

/mnt/mongo/log

/mnt/mongo/data

/mnt/eos

安装和配置MongoDB

MongoDB不要使用EOS默认安装的3.6.3版本,  测试中, 偶尔发现某些指令导致MongoDB服务停止,  然后又得花上一天时间replay

可以在下面网站选择最新的版本下载, 

https://www.mongodb.com/download-center/community

3.6.3版本的数据文件和最新版4.0是兼容的, 我们使用的是mongodb-linux-x86_64-rhel70-4.0.4.tgz

cd ~

wget  https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel70-4.0.4.tgz

tar xvzf ./mongodb-linux-x86_64-rhel70-4.0.4.tgz

配置mongod.conf到/etc/, 实际上任何目录都可以

# mongod.conf

# for documentation of all options, see:

#  http://docs.mongodb.org/manual/reference/configuration-options/

# where to write logging data.

systemLog:

  destination: file

  logAppend: true

  path: /mnt/mongo/log/mongod.log

# Where and how to store data.

storage:

  dbPath: /mnt/mongo/data

  journal:

    enabled: true

#  engine:

#  mmapv1:

#  wiredTiger:

# how the process runs

processManagement:

  fork: true  # fork and run in background

  #ipidFilePath: /var/run/mongodb/mongod.pid  # location of pidfile

  timeZoneInfo: /usr/share/zoneinfo

# network interfaces

net:

  port: 27017

  bindIp: 127.0.0.1  # Enter 0.0.0.0,:: to bind to all IPv4 and IPv6 addresses or, alternatively, use the net.bindIpAll setting.

#security:

#  authorization: enabled

#operationProfiling:

#replication:

#sharding:

## Enterprise-Only Options

#auditLog:

#snmp:

注意, 配置中指定的目录要放到数据盘上, 并且确保目录都已经成功建立

#试试启动MongoDB

/root/mongodb-linux-x86_64-rhel70-4.0.4/bin/mongod    -f  /etc/mongod.conf

#试试关闭MongoDB

pkill mongod

然后, 你可以配置mongoDB的外网访问权限, 这是个可选项

为了安全, 一定要先配置mongoDB的用户权限, 进入mongo客户端, 执行下面指令, 最后的auth要是1表示成功

/root/mongodb-linux-x86_64-rhel70-4.0.4/bin/mongo

> db.createUser({user:’eos’,pwd:’eosfku’,roles:[{role:’readWrite’,db:’EOS’}]})

>use EOS

>db.auth(‘eos’,’eosfku’)

> 1

然后修改 /etc/mongod.conf, 打开下面选项

net:

  port: 27017

  bindIp: 0.0.0.0

security:

  authorization: enabled

关闭mongod, 启动mongod,

下载mongo客户端, 例如Robo 3T试一试

编译EOS, 不要浪费时间去用Docker EOS

编译之前, 先要解决mongo_db_plugin的一个问题,  原生的mongo_db_plugin只有一个线程入库, 这会形成瓶颈,  我们稍作修改,  保持原有逻辑, 改为多线程,并追加一个参数mongodb-thread-size来配置线程个数, 修改的多线程版文件在此:

https://github.com/llxisdsh/mongo_db_plugin_mt/blob/master/mongo_db_plugin.cpp

EOS原版文件在此:

https://github.com/EOSIO/eos/blob/master/plugins/mongo_db_plugin/mongo_db_plugin.cpp

cd ~

git clone https://github.com/EOSIO/eos –recursive

#git clone https://github.com/EOS-Mainnet/eos -b mainnet-1.4.3  –recursive

#也可以指定最近的稳定版本tag下载, 下载大概要几分钟

#下载完成后, 记得覆盖修改过的mongo_db_plugin.cpp

cd eos

./eosio_build.sh

#这得经过一个小时, 你至少开始得坐在电脑前, 不断确定Yes

./eosio_install.sh

#它会建立一些EOS程序软连接到 /usr/local/bin.  你可以把该目录加入PATH

配置EOS

需要通过genesis.json初始化config.ini

cd ~

wget https://eosnodes.privex.io/static/genesis.json

或者使用下面文本建立genesis.json也可以:

{

“initial_timestamp”: “2018-06-08T08:08:08.888”,

“initial_key”: “EOS7EarnUhcyYqmdnPon8rm7mBCTnBoot6o7fE2WzjvEX2TdggbL3”,

“initial_configuration”: {

“max_block_net_usage”: 1048576,

“target_block_net_usage_pct”: 1000,

“max_transaction_net_usage”: 524288,

“base_per_transaction_net_usage”: 12,

“net_usage_leeway”: 500,

“context_free_discount_net_usage_num”: 20,

“context_free_discount_net_usage_den”: 100,

“max_block_cpu_usage”: 200000,

“target_block_cpu_usage_pct”: 1000,

“max_transaction_cpu_usage”: 150000,

“min_transaction_cpu_usage”: 100,

“max_transaction_lifetime”: 3600,

“deferred_trx_expiration_window”: 600,

“max_transaction_delay”: 3888000,

“max_inline_action_size”: 4096,

“max_inline_action_depth”: 4,

“max_authority_depth”: 6

}

}

然后, 通过下面方式生成初始的config.ini

cd ~

nodeos –genesis-json=genesis.json

CTRL+C

ll .local/share/eosio/nodeos/config/config.ini

配置文件默认生成到

.local/share/eosio/nodeos/config/config.ini

修个这个文件, 配置下面内容:

abi-serializer-max-time-ms = 15000

chain-state-db-size-mb =  4096

http-validate-host = false

#mongodb plugin 队列到达这个尺寸时将sleep, 设置更大是没有意义的

mongodb-queue-size = 4096

#这个参数是mongo_db_plugin多线程版指定的线程数量, 需要小于mongodb-uri 的maxPoolSize参数, 如果是远程DB该参数要更大

mongodb-thread-size = 50

#mongoDB连接url, maxPoolSize的参数是mongodb连接池的限制数量

mongodb-uri = mongodb://127.0.0.1:27017/EOS?maxPoolSize=100

#如果指定了用户权限, 如下

#mongodb-uri = mongodb://eos:eosfku@127.0.0.1:27017/EOS?maxPoolSize=100

#EOS RPC 服务, 可选

http-server-address = 0.0.0.0:8888

plugin = eosio::http_plugin #必要

plugin = eosio::chain_plugin #必要

plugin = eosio::mongo_db_plugin #同步mongodb必要

plugin = eosio::chain_api_plugin #可选

plugin = eosio::history_api_plugin#可选

……

p2p-peer-address = mainnet.eoslaomao.com:443

……

配置这个文件很花时间,  可是一旦配置OK, 你完全可以复制到其他服务器使用

关于p2p-peer-address, 可以使用下面的配置, 以及网上其他来源

https://eosnodes.privex.io/

正常同步

cd ~

#试试启动

nodeos -d /mnt/eos 2>&1 | tee ./eos.log &

#试试关闭

pkill nodeos

注意, 启动时, 注意指定EOS的数据目录, 后面的参数是为了同时把控制台也写入eos.log文件

这样就方便任何时候使用下面指令跟踪eos日志

tail -f ./eos.log

这种普通同步的方式, 可能需要几周或几个月同步完成~, 直到你必须考虑下面的办法

下载EOS离线包, 会省去几倍的时间

https://eosnode.tools/blocks

到上面网址中选择最新的离线包, 复制地址

cd /mnt/eos

wget xxxx/blocks_2018-11-12-07-00.tar.gz

tar xvzf  blocks_2018-11-12-07-00.tar.gz

replay离线包然后同步

#replay离线包并同步, 并清空mongodb

nodeos -d /mnt/eos –hard-replay-blockchain –wasm-runtime wavm –mongodb-wipe  2>&1 | tee ./eos.log &

#出现问题中断时, replay离线包并同步, 保留部分DB数据, 从指定块写入

nodeos -d /mnt/eos –hard-replay-blockchain –wasm-runtime wavm –mongodb-block-start 1234567  2>&1 | tee ./eos.log &

–hard-replay-blockchain参数是尽量replay模式, 离线部分完成,会自动跟上常规同步

–wasm-runtime wavm 参数是指定EOS虚拟机模式, 据说这样更快一点, 

–mongodb-wipe 参数是清空mongodb, 需要配合–hard-replay-blockchain使用

–mongodb-block-start 参数是指跳过之前的块, 从指定块以后写入

参数详解参照:

https://developers.eos.io/eosio-nodeos/docs/

你可以通过下面指令观察恢复状态, 或者通过查询mongodb查看块数

#追踪nodeos日志

tail -f ./eos.log

#mongo查询

db.runCommand({“find”:”blocks”, “sort”:{“block_num”: -1}, “limit”:1, “projection”:{“block_num”:1, “block.timestamp”:1, “block_id”:1},})

即便这样, 你仍然需要等待几天或更长时间, 这完全取决于服务器的CPU和IO能力

离线数据replay完成后, 完全可以更换到用普通云盘的服务器.

如果需要更换, 你可以使用scp在服务器之间复制, 记得用内网IP呦

scp -r root@xxx.xxx.xxx.xxx:/mnt/eos/blocks /mnt/eos

事实上, 你应该会用到3次以上;(======

中断容易产生数据重复

在磕磕绊绊走到最后发现,  每次中断, 使用–mongodb-block-start 指令之后,  都有部分数据是重复的, 因为怕丢总会往小了写,  可悲的是mongodb插件竟然不建立唯一索引,  所以就重复了. 原则上通过修改插件代码是可行的, 留待需要人修改吧. 

解决超过2T硬盘的分区

fdisk不能超过2T的分区, 如果很不幸, 你已经scp了大量数据后才发现, 原来磁盘只分配了2T,还有大量的扇区没有被使用, 下面办法可以数据无损扩充分区:

1. fdisk -l  分区的记住起始的扇区, 假设是2048

2. umount /dev/vdb1

3. fsck -f /dev/vdb1

4. parted /dev/vdb

(parted)  mklabel gpt

(parted)  unit s

(parted)  mkpart …

(parted)  start 2048

(parted)  end -1

5. resize2fs /dev/vdb1

6. mount -a

虽然我很不看好EOS, 但是EOS的更新仍然日新月异, 本文预计很快就会失效, 希望有人借此提供EOS MongoDB 离线下载包

当前EOS版本v1.4.3, mongodDB版本4.0.4

    原文作者:凌利新
    原文地址: https://www.jianshu.com/p/d865800281c0
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞