Edu/04. ElasticSearch5 엘라스틱 스택 pipeline 구축 및 Dashboard 생성 * 학습 목표 - 파이프라인이란? - beats, logstash 설치 - elasticsearch, logstash, beats 실행 - 파이프라인 구축 1. Pipeline이란? 한 데이터 처리 단계의 출력이 다음 단계의 입력으로 이어지는 형태로 연결된 구조 데이터를 물이라고 가정하면 파이프라인은 수도관처럼 데이터가 다음 단계로 이어지도록 구조를 설계하는 것을 말한다. 2. 파이프라인 구축 실습 프로세스 이번 포스팅에 작성할 파이프라인 구축 실습 프로세스이다. 위의 실습 프로세스를 조금 풀어서 설명하면 아래와 같다. Beats에서 데이터를 수집하면 Logstash에서 필터링을 한 후 Elasticsearch에 데이터를 전달해준다 Elasticsearch는 전달 받은 데이터를 저장하고 Kibana에서 .. 2021. 7. 16. 구글 플러그인인 elasticsearch Head 사용하여 데이터 CRUD * 학습 목표 - elasticsearch head 구글 확장팩 설치 - elasticsearch head를 사용하여 데이터 CRUD 1. Elasticsearch Head 구글 확장팩 Elasticsearch head를 사용하면 elasticsearch를 확인할 수 있음. 2. Elasticsearch Head 설치 크롬 브라우저 맨 오른쪽 상단에 점 세개의 메뉴를 클릭. 도구 더보기 < 확장 프로그램 선택. 확장 프로그램 페이지 맨 왼쪽 메뉴 확장 프로그램 선택 맨 하단의 Chrome 웹 스토어 열기 선택 검색창에 elasticsearch head를 입력 후 해당 확장 프로그램 설치 확장 프로그램이 설치가 완료되면 구글 상단의 퍼즐 모양 아이콘을 클릭. elasticsearch head 선택하여 확장.. 2021. 7. 15. postman으로 elasticsearch에 접근해서 데이터 CRUD * 학습 내용 - postman으로 elasticsearch 접근하여 데이터 CRUD 이전에 작성한 포스트 글에서는 엘라스틱서치를 실행하고 키바나를 실행하여 커맨드 창에서 CRUD가 작업가능하다고 했었다. 이번 포스팅에는 키바나 대신 postman을 활용하여 엘라스틱서치에 접근해서 데이터를 CRUD하는 작업을 하려고 한다. 엘라스틱 서치의 주소는 http://localhost:9200, 키바나의 주소는 http://localhost:5601 이다. 이 중 postman으로 엘라스틱 서치에 접근하려고 하니 http://localhost:9200 + elastic search query(?)를 postman에 작성하면 된다. 참고로 postman으로 CRUD하기 전 반드시 elasticsearch를 실행시킨.. 2021. 7. 15. 엘라스틱 서치란? * 학습 내용 - 엘라스틱 서치 정의 및 개념 1. ELK ELK(ELK Stack) = Elasticsearch + Logstash + Kibana : 대용량 데이터 저장 및 빠른 검색 가능, 데이터 분석, 데이터 시각화, 훌륭한 검색 엔진 및 시각화 툴 기능 2. Elasticsearch - 데이터 저장소, 빅데이터 처리할 때 매우 유용(RDBMS와 흡사) - 루씬 기반의 Full Text로 검색이 가능한 오픈소스 텍스트 기반 분석용 검색 엔진 - RESTful API를 이용해 처리 - HTML 기반의 RESTful를 활용하고 요청/응답 데이터 포멧으로 JSON 사용 - 대용량의 데이터를 신속하고 실시간으로 저장, 검색 및 분석할 수 있음 - 쿼리가 매우 빠르게 수행 : Rest API + JSON(.. 2021. 7. 15. 엘라스틱 서치 & 키바나 설치 * 학습 내용 - 엘라스틱 서치 설치 및 실행 - 키바나 설치 및 실행 1. 엘라스틱 서치란? - 루씬 기반의 검색 엔진으로 json기반의 분산형 검색 및 분석 엔진 - 대표적인 nosql - 엘라스틱ELK 중 하나 - elasticELK = Logstash(데이터 수집 담당) + kibana(시각화 담당) + elasticsearch(데이터 검색 담당) 2. 엘라스틱 서치 설치 아래 링크로 들어가서 원하는 버전 설치 https://www.elastic.co/kr/downloads/past-releases#elasticsearch Past Releases of Elastic Stack Software Looking for a past release of Elasticsearch, Logstash, Kib.. 2021. 7. 13. 이전 1 다음
