用 ELK elasticsearch 存取 SQL RDB 資料 kibana 文字查詢功能 2

SamSam
7 min readDec 5, 2019

--

此篇介紹如何使用。先介紹環境與安裝,然後設定,最後在講導入資料,篇幅很濃縮精簡,但保證一次無痛完成割包。阿不是,是安裝與設定。

環境介紹

AWS EC2 instance
Windows Server 2016
JRE jre-8u211-windows-x64

在此建議:能選擇、夠能力的話,用Linux會更簡易順暢。

沒有絕對好壞,都是取捨。

下載套件

驗明正身 ELK 7.5.0

Elasticsearch

https://www.elastic.co/cn/downloads/elasticsearch https://www.elastic.co/guide/en/elasticsearch/reference/current/windows.html

Logstash

https://www.elastic.co/cn/downloads/logstash

Kibana

https://www.elastic.co/cn/downloads/kibana

MS SQL JDBC

https://www.microsoft.com/en-us/download/details.aspx?id=54671

接下來,我們來安裝

Elasticsearch
跟著MSI檔操作,這真的不用說了。

Logstash
解壓縮後,到\bin\logstash.bat 點兩下

Kibana
解壓縮後,到\bin\kibana.bat點兩下

然後ELK部分就安裝完了… 是真的,我敢發誓這樣就挖到石油了,林北最討厭欺騙。想起當年5.0.0 淚流滿面XD

JRE環境我就先假設大家安裝、與環境變數設定沒問題了喔!不是本篇重點,我截張圖聊表示我有顧到這層

再來是耽誤小弟青春的一個坑。小弟通常直接給解答,你們做起來會感覺:這有啥難度?阿不就呼吸喝水陽光空氣水?(對啦…. 就跟拉普拉斯方程一樣,有的時候用都超簡單,叫你發明一個可能幾百年都….XD)

直接講結論:這個版本 7.5.0 還沒修到,Elatic 官方也認定是 issue (我不用BUG形容),目前待修。

解法:請將擺放JDBC .jar檔的driver,也拷貝一份進 \logstash-7.5.0\logstash-core\lib\jars

這樣 Logstash才能透過JDBC讀到SQL database.

好的,緊接到了最後一步, 連到 SQL database 然後開始抓資料進elasticsearch

請新增一個Logstash config: sqlserver.conf (自行調整命名) 在 \logstash-7.5.0\config 內。

內容如下:

input {
jdbc {
jdbc_connection_string => “jdbc:sqlserver://localhost:1433;databaseName=SAMXIAODEMO;integratedSecurity=false;”
jdbc_driver_library => “”
jdbc_driver_class => “com.microsoft.sqlserver.jdbc.SQLServerDriver”
jdbc_user => “SQL DB account”
jdbc_password => “SQL DB password”
statement => “SELECT * FROM DB.SCHEMA.TABLE”
}
}
output {
elasticsearch {
hosts => [“localhost:9200″]
index => “your index name”
}
}

裡面關於 jdbc_driver_library => “” 的部分,請勿改動,這就是issue所在之處。不用謝我了,這就是操作起來好像沒難度的部分。

再來指向logstash的bin資料夾,執行cmd就完成了
> bin\logstash.bat -f config\sqlserver.conf

不幸失敗的話,請參閱這個關鍵字,並且詳讀小弟的前面說明喔:

完成之後,在爽快簡單的介面Kibana內確認比對筆數

GET “your index name”/_count

然後呢?其實還有,我們接下來下一篇,將會介紹 Kibana的介面使用。一般文章到這邊就結束了,行百里者半九十,最重要的還在後面,我們要怎麼呈現資料!

上一篇

https://datamansamxiao.wordpress.com/2019/12/05/%e7%94%a8-elk-elasticsearch-%e5%ad%98%e5%8f%96-sql-rdb-%e8%b3%87%e6%96%99-kibana-%e6%96%87%e5%ad%97%e6%9f%a5%e8%a9%a2%e5%8a%9f%e8%83%bd-1/

下一篇

https://datamansamxiao.wordpress.com/2019/12/05/%e7%94%a8-elk-elasticsearch-%e5%ad%98%e5%8f%96-sql-rdb-%e8%b3%87%e6%96%99-kibana-%e6%96%87%e5%ad%97%e6%9f%a5%e8%a9%a2%e5%8a%9f%e8%83%bd-3/

Originally published at http://datamansamxiao.wordpress.com on December 5, 2019.

--

--

SamSam
SamSam

Written by SamSam

用有限的資料知識探索無限的世界

No responses yet