Cài đặt elk stack windows

Cài đặt elk stack windows

Cài đặt elk stack windows

Install ElasticSearch Logstash and Kibana on Windows 10 (ELK Stack) (Elastic Stack)

Chào mừng bạn đến với video này với Hướng dẫn về ngăn xếp đàn hồi. Trong video này, chúng ta sẽ thấy cách cài đặt ElasticSearch Logstash và Kibana trên Windows 10 (ELK Stack) (Elastic Stack). Elasticsearch là một công cụ phân tích và tìm kiếm phân tán, mã nguồn mở để đo lường theo chiều ngang, độ tin cậy và dễ dàng quản lý. Logstash là một trung tâm thu thập, làm giàu và vận chuyển dữ liệu mã nguồn mở linh hoạt. Filebeat là một ứng dụng nhẹ để đọc các tệp nhật ký và chuyển sang Logstash. #ElasticSearch #Logstash #Kibana #ELKStack #ElasticStack Khóa học trực tuyến nâng cao từ Kiến thức lập trình ★ ★ ★ Khóa học lập trình Python ️ ቫ Khóa học lập trình Java ➡️ ሽ Khóa học Bash Shell Script Khóa học lập trình PHP # ⚫️ Phát triển Android ⚫️ ⚫️ Phát triển Android ➡️ ⚫️ Khóa học lập trình ➡️ ⚫️ Khóa học lập trình Nodjes Q QT C ++ GUI Hướng dẫn cho người mới bắt đầu ★★★ ★★★ Khóa học trực tuyến ማር 2 tháng Nhận các lớp học miễn phí không giới hạn từ chia sẻ kỹ năng – Khoa học dữ liệu – | Học máy – | Trí tuệ nhân tạo – | Chương trình cấp bằng điện tử của MERN Stack – | DevOps E-Degree – | Phân tích dữ liệu từ R – | Đào tạo Chứng chỉ AWS – | Các dự án trong Java – | Học máy tại TensorFlow – | Góc 8 – Hướng dẫn bắt buộc đầy đủ – Lớp Thạc sĩ Phát triển Android Kotlin – Tìm hiểu các dự án sơ bộ về lập trình iOS – ★ ★ ★ Thực hiện theo ★ ★ ★ Trang web của tôi – Tuyên bố từ chối trách nhiệm Video và mô tả này có chứa liên kết, có nghĩa là nếu bạn nhấp vào một trong các sản phẩm đó có nghĩa là liên kết , Tôi nhận được một khoản hoa hồng nhỏ. Điều này giúp ủng hộ kênh và cho phép chúng tôi tiếp tục làm những video như vậy. Cảm ơn sự hỗ trợ của bạn! .

Install ElasticSearch Logstash and Kibana on Windows 10 (ELK Stack) (Elastic Stack) “, được lấy từ nguồn: https://www.youtube.com/watch?v=8iXZTS7f_hY

Tags: #Install #ElasticSearch #Logstash #Kibana #Windows #ELK #Stack #Elastic #Stack

Từ khóa: hướng download win,ElasticSearch,Logstash,Kibana,ELKStack,ElasticStack,Windows 10,Filebeat,scalability,reliability,pipeline,Elastic Stack Tutorial

Cài đặt elk stack windows

Chào các bạn,

Bài trước mình đã hướng dẫn xong 2 phần cài đặt chính trong ELK là Elasticsearch và Kibana – Hôm nay sẽ hướng dẫn nốt chữ L là logstash nhé !

Nhắc lại một chút lý thuyết của bài trước :

Logstash: Đây là một công cụ sử dụng để thu thập, xử lý log được viết bằng java. Nhiệm vụ chính của logstash là thu thập log sau đó chuyển vào Elastichsearch. Mỗi dòng log của logstash được lưu trữ đưới dạng json.

Elasticsearch: sử dụng cơ sở dữ liệu NoSQL dựa trên nền tảng của Apache Lucene engine. Dùng để lưu trữ dữ liệu và cung cấp interface cho phép truy vấn đến cơ sở dữ liệu.

Kibana: Đây là giao diện sử dụng dành cho người dùng trên môi trường web. Kibana sẽ sử dụng Elashtichsearch để tìm kiếm các dữ liệu phù hợp với yêu cầu của người dùng.

Cơ chế hoạt động của ELK Stack cũng khá đơn giản, các bạn xem hình sẽ hiểu:

Cài đặt elk stack windows
Cơ chế hoạt động của ELK Stack
  1. Đầu tiên, log sẽ được đưa đến Logstash. (Thông qua nhiều con đường, ví dụ như server gửi UDP request chứa log tới URL của Logstash, hoặc Beat đọc file log và gửi lên Logstash)
  2. Logstash sẽ đọc những log này, thêm những thông tin như thời gian, IP, parse dữ liệu từ log (server nào, độ nghiêm trọng, nội dung log) ra, sau đó ghi xuống database là Elasticsearch.
  3. Khi muốn xem log, người dùng vào URL của Kibana. Kibana sẽ đọc thông tin log trong Elasticsearch, hiển thị lên giao diện cho người dùng query và xử lý.
    Cài đặt elk stack windows
    Kibana hiển thị thông tin từ log cho người dùng

    Với các hệ thống đặc biệt nguy hiểm , ý lộn đặc biệt lớn và phức tạp thì có thể sử dụng thêm kafka , redis … để hỗ trợ làm bộ đệm giúp quá trình xử lý khối lượng logs khổng lồ được nhanh hơn

    Cài đặt elk stack windows

    OK nhắc lại 1 chút lý thuyết cho bạn nào không nhớ , tiếp theo đi vào các phần cài đặt còn lại nhé !

I. CÀI ĐẶT LOGSTASH TRÊN CENTOS 7

1. Download and install Logstash

Đầu tiên dùng lệnh wget để tải gói cài đặt .rpm cho Logstash

wget https://artifacts.elastic.co/downloads/logstash/logstash-6.2.4.rpm

Dùng lệnh rpm để cài đặt :

rpm -ivh logstash-6.2.4.rpm

Hoặc có thể dùng lệnh yum để cài luôn bản mới nhất :

yum install logstash
Cài đặt elk stack windows
Cũng như Kibana các bạn chờ tầm 7-10 phút ăn bánh uống trà

Sau khi cài đặt xong chúng ta tiếp tục  tạo 1 SSL certificate để client có thể identify với elastic server.

2. Config and Edit Logstash

Sửa file openssl.cnf  bằng vi editor :

cd /etc/pki/tls
vi openssl.cnf

Thêm dòng bên dưới vào mục ‘[ v3_ca ]’ như trong hình dưới :

[ v3_ca ]

# Server IP Address
subjectAltName = IP: 192.168.1.84 (IP ELK Server - trong trường hợp bài LAB này là IP con CentOS 7)
Cài đặt elk stack windows
Save and Exit

Generate the certificate file bằng lệnh openssl như bên dưới :

openssl req -config /etc/pki/tls/openssl.cnf -x509 -days 3650 -batch -nodes -newkey rsa:2048 -keyout /etc/pki/tls/private/logstash-forwarder.key -out /etc/pki/tls/certs/logstash-forwarder.crt
Cài đặt elk stack windows
The certificate files can be found in the ‘/etc/pki/tls/certs/‘ & ‘/etc/pki/tls/private/

OK tiếp theo chúng ta sẽ tạo files cấu hình cho Logstash. Trong bài LAB này mình sẽ tạo 1 file có tên là filebeat-input.conf  để configure cho log sources filebeat và syslog-filter.conf  for syslog processing và cuối cùng là output-elasticsearch.conf  để define the Elasticsearch output.

Đầu tiên là tạo filebeat-input.conf bằng lệnh sau :

cd /etc/logstash/
vi conf.d/filebeat-input.conf

Copy đoạn code bên dưới vào file filebeat-input.conf mới tạo ở trên và lưu lại (:x!)

input {
  beats {
    port => 5443
    ssl => true
    ssl_certificate => "/etc/pki/tls/certs/logstash-forwarder.crt"
    ssl_key => "/etc/pki/tls/private/logstash-forwarder.key"
  }
}

Cài đặt elk stack windows

Tiếp theo tạo file syslog-filter.conf  (nằm trong /etc/logstash/) :

vi conf.d/syslog-filter.conf

Copy đoạn code như dưới :

filter {
  if [type] == "syslog" {
    grok {
      match => { "message" => "%{SYSLOGTIMESTAMP:syslog_timestamp} %{SYSLOGHOST:syslog_hostname} %{DATA:syslog_program}(?:\[%{POSINT:syslog_pid}\])?: %{GREEDYDATA:syslog_message}" }
      add_field => [ "received_at", "%{@timestamp}" ]
      add_field => [ "received_from", "%{host}" ]
    }
    date {
      match => [ "syslog_timestamp", "MMM  d HH:mm:ss", "MMM dd HH:mm:ss" ]
    }
  }
}

We use a filter plugin named ‘grok‘ to parse the syslog files.

Lưu lại và thoát (:x!)

Cuối cùng là tạo file ‘output-elasticsearch.conf‘. (nằm trong /etc/logstash/ luôn)

vi conf.d/output-elasticsearch.conf

Copy đoạn code như dưới

output {
  elasticsearch { hosts => ["localhost:9200"]
    hosts => "localhost:9200"
    manage_template => false
    index => "%{[@metadata][beat]}-%{+YYYY.MM.dd}"
    document_type => "%{[@metadata][type]}"
  }
}

Lưu lại và thoát (:x!)

Sau đó cho logstash chạy cùng khi khởi động máy và start logstash lên :

sudo systemctl enable logstash
sudo systemctl start logstash

3. Check Logstash Status

Kiểm tra nhanh bằng lệnh :

netstat -plntu

Cài đặt elk stack windows

Tới đây coi như đã cài xong 3 thành phần chính của ELK là Elasticsearch , Logstash và Kibana .Tiếp theo sẽ cài đặt và cấu hình filebeat cho CLient để “vận chuyển” data từ máy Client về ELK server phân tích và hiển thị thông qua giao diện Web của Kibana!

II. Install and Configure Filebeat on the CentOS Client

Beats are data shippers, lightweight agents that can be installed on the client nodes to send huge amounts of data from the client machine to the Logstash or Elasticsearch server. There are 4 beats available, ‘Filebeat‘ for ‘Log Files‘, ‘Metricbeat‘ for ‘Metrics‘, ‘Packetbeat‘ for ‘Network Data‘ and ‘Winlogbeat‘ for the Windows client ‘Event Log’.

In this tutorial, I will show you how to install and configure ‘Filebeat’ to transfer data log files to the Logstash server over an SSL connection.