포기하지 않는다면 행운이 널 찾을거야

1편에서 elasticsearch 담겨있는 값을 excel파일로 출력해보았습니다. [ 다시 보기 ] 2020/11/19 - [01.Computer/Nodejs] - { NodeJs } Elasticsearch + Excel 연동 #1 2편에서는 스케쥴을 통해서 excel출력까지 해보도록 하겠습니다. config 파일에 schedule 시간을 등록합니다. module.exports = { elasticsearch: { hosts: [ 'elastic:123456@localhost:9200' ], timeout: 10 * 1000 }, settings: { schedule: '*/1 * * * *' } // url : { // confederation_url : "https://www.yna.co.kr/sp..

전제 조건 elasticsearch에 저장되어있는 값을 가져와서 excel로 출력하려고 합니다. 혹시 elasticsearch에 값을 어떻게 저장해야하는지 모르시다면 아래의 링크를 통해 확인하신 뒤 하시면 도움이 될것이라 생각됩니다. 2020/10/06 - [01.Computer/ELK] - 05.수집(logstash + mysql) 05.수집(logstash + mysql) 이 편은 단순히 mysql -> elsticsearch 데이터를 넣는걸을 다룰 것이고, 심화 과정은 차후에 다루고자 한다. 자아아아~~~~!! ElasticSearch 와 Kibana가 정상적으로 시작을 하였다면 데이터를 수집해보자!! 필 2015pyw.tistory.com 자 그럼 만들로 gogogogo~~ 첫번째, 설정파일 만들..

검색의 핵심은 형태소 분석기라고 생각합니다. 오픈되어있는 한글 형태소 분석기는 대표적으로 아리랑, 은전한닢, Open Korean Text이 있습니다. 한글은 형태의 변형이 매우 복잡한 언어인데 특히 복합어, 합성어 등이 많아 하나의 단어도 여러 어간으로 분리해야 하는 경우가 많아 한글을 형태소 분석을 하려면 반드시 한글 형태소 사전이 필요합니다. 오픈 소스 커뮤니티에서 개발되어 Elasticsearch에서 사용 가능한 한글 형태소 분석기는 다음과 같은 것들이 있습니다. seunjeon URL: https://bitbucket.org/eunjeon/seunjeon 설명: mecab-ko-dic 기반으로 만들어진 JVM 상에서 돌아가는 한국어 형태소분석기입니다. 기본적으로 java와 scala 인터페이스를..

이 전 chapter 에서는 로그인 설정에 대해 알아보았다. 로그인을 하면 아래와 같이 좌측 메뉴에 무수한 기능들을 볼 수 가 있다. 사실 필자의 경우 검색관련 일을 했을때 좌측 메뉴중 주로 섰던 기능은 index 및 쿼리때문에 dev tool만 이용을 주로 했었다. 키바나도 버전업이 되면서 많은 기능이 업데이트가 되었지만 필자도 전부 사용해보진 않았고 키바나 기능을 100프로 이용을 원하는 기업도 거의 없었다.(사실 관심도 없고 검색엔진 관련 회사는 자사 제품이 따로 있는 경우가 많다) 그리고 검색을 해봐도 상세하게 설명한 글이 없어서..이렇게 글을 남겨두려고 한다. 자아아~~!! 그럼 하나 하나 하면서 주로 사용한 기능에 대해 노하우등을 공유 해보겠다. 이 번 챕터에서는 로그인을 했으니 이런 의문점이..

이전 강의에서 elk 설치 및 수집까지 알아보았다. 이제 까지 한 것은 Hello World!!를 찍은거라 생각하면 된다. 물에 발을 담군 정도.. 자아~~!! 이번 화부터는 kibana에 있는 수 많은 기능에 대해서 설명해보고자 한다. 검색을 해보면 알겠지만 kibana에 대해 디테일하게 설명하는 글이 거의 없다 필자도 검색을 엄청했던 기억이 있다. elasticsearch 버전이 업데이트 되면서 xpack의 일부 기능을 사용하게 되어 로그인 기능을 사용할 수 있다. (필자의 기억으로 5.x 버전 이하는 xpack를 돈주고 사야지만 사용가능했던걸로 기억함) 그래서 첫 단계로 security 기능을 추가해보도록 한다. * user 추가 어라!! 뭔가 에러를... xpack disabled이 되어있다라고 ..

이 편은 단순히 mysql -> elsticsearch 데이터를 넣는걸을 다룰 것이고, 심화 과정은 차후에 다루고자 한다. 자아아아~~~~!! ElasticSearch 와 Kibana가 정상적으로 시작을 하였다면 데이터를 수집해보자!! 필자는 mysql에 임의의 데이터를 입력 한 후 수집하겠다. 1) 파일복제 D:\elk\logstash-7.9.1\config\logstash-sample.conf 파일이 존재하는데 해당 파일을 복제하여 test.conf 파일을 만든다. 2) .conf 설정 수집 설정은 input(수집대상), filter(필터링), output(저장대상) 크게 세가지로 나뉜다. input 설정은 아래의 공홈에서 가이드를 보며 설정해보자! www.elastic.co/guide/en/logs..

bin 폴더안에 있는 elasticsearh.bat 을 이용하여 매번 실행 하는 것도 가능하지만 Windows services로 등록하여 컴퓨터가 시작될 때 자동으로 시작 할 수 있게끔 설정 할 수 있다 - 서비스 등록 방법은 아래와 같다. 실행) bin\elasticsearch-service install 등록이 잘 되었는지 서비스창을 열어 elasticsearch 가 등록되었는가를 확인하자. 서비스 삭제하는 방법은 아래와 같습니다. 실행) bin\elasticsearch-service remove ERROR) 서비스 시작이 안될 경우... D:\elk\elasticsearch-7.9.1\logs에 로그를 통해서 로그를 확인할 수 있습니다. 기본적으로 path.conf를 설정을 따로 해주지 않아됩니다...