yii2-elasticsearch（4）elasticsearch和mysql 的数据同步

2024年4月30日 226次阅读 来源: zebrayoung

前言

之前安装的的es版本是5.4的，后来老是killed,可能是我配置的有问题，我又重装了一下，改成了5.0版本的。网站原本的数据库是mysql,要用es必须把数据同步过来，参考了一篇文章，使用了logstash-input-jdbc来同步。

logstash

之前文章已经安装过了java和es，这里就不说了。现在要安装logstash，要安装对应的版本，5.0版本

https://artifacts.elastic.co/downloads/logstash/logstash-5.0.0.tar.gz

logstash-input-jdbc

解压之后，我们要下载logstash的插件logstash-input-jdbc，我是直接通过logstash安装的

cd logstash-5.0.0/bin/
./logstash-plugin install logstash-input-jdbc

这个等待时间挺长的，不过还是成功了，还有其他的安装方式，请到参考文章中找

mysql驱动

我下载的版本是mysql-connector-java-5.1.42
官网地址：https://dev.mysql.com/downloa…
下载好之后解压

配置

在logstash-5.0.0/bin/下建立一个文件夹，名字你可随便起，先命名为logstash_jdbc_test，创建两个文件jdbc.conf,jdbc.sql

jdbc.conf的内容为

input {
  stdin {
  }
  jdbc {
  # mysql jdbc connection string to our backup databse  后面的test对应mysql中的test数据库
  jdbc_connection_string => "jdbc:mysql://localhost:3306/oldhd"
  # the user we wish to excute our statement as
  jdbc_user => "root"
  jdbc_password => "root"
  # the path to our downloaded jdbc driver
  jdbc_driver_library => "/usr/local/elasticsearch/mysql-connector-java-5.1.42/mysql-connector-java-5.1.42-bin.jar"
  # the name of the driver class for mysql
  jdbc_driver_class => "com.mysql.jdbc.Driver"
  jdbc_paging_enabled => "true"
  jdbc_page_size => "50000"
#以下对应着要执行的sql的绝对路径。
  statement_filepath => "/usr/local/elasticsearch/logstash-5.0.0/bin/logstash_jdbc_test/jdbc.sql"
#定时字段 各字段含义（由左至右）分、时、天、月、年，全部为*默认含义为每分钟都更新（测试结果，不同的话请留言指出）
  schedule => "* * * * *"
#设定ES索引类型
  type => "contact"
  }
}

filter {
  json {
  source => "message"
  remove_field => ["message"]
  }
}

output {
  elasticsearch {
#ESIP地址与端口
  hosts => "localhost:9200"
#ES索引名称（自己定义的）
  index => "shiliucrm"
#自增ID编号
  document_id => "%{id}"
  }
  stdout {
#以JSON格式输出
  codec => json_lines
  }
}

jdbc.sql的内容为

select
  *
from
contact where update_time > :sql_last_value

启动

先确保你的es是开启的，然后启动logstash

cd logstash-5.0.0/bin/
./logstash -f ./logstash_jdbc_test/jdbc.conf

如果你的这个表里面的字段很多,这个时间可能会很长，有的字段里面有回车换行之类的字符如果没有转义，同步也会报错，所以同步不会成功的原因有很多，得自己排查，可以先取一小部分数据测试

问题

我这里有几个问题，希望有朋友帮我解答一下
1.logstash这个怎么同时同步多个mysql表，因为一个conf钟只配置了一个type，这个type指向一个sql,有什么方法可以同时开启多个同步的服务
2.使用es查询遇到的问题
这个shiliucrm索引下放着四个type，怎样同时查这四个type，并且每个type下面返回三个符合要求的文档，
我现在是分四次分别查询这四个type,size=3.这也太傻了，不会用，希望有人指点一下。

参考文章：
http://blog.csdn.net/laoyang3…
http://blog.csdn.net/yeyuma/a…

    原文作者：zebrayoung
    原文地址: https://segmentfault.com/a/1190000009793050
    本文转自网络文章，转载此文章仅为分享知识，如有侵权，请联系博主进行删除。
点赞