you've got to find what you love. you've got to find what you love.

elasticsearch를 깔고 bulk 색인을 돌렸는데 아래와 같은 색인 에러가 나타났습니다. {"index":{"_index":"a001470","_type":"2014","_id":"5","status":500,"error":"IndexFailedEngineException[[a001470][1] Index failed for [2014#5]]; nested: FileNotFoundException[/elasticsearch-1.2.1/data/elasticsearch/nodes/0/indices/a001470/1/index/_0.fdx (열린 파일이 너무 많음)]; "}}, 검색해보니 elasticsearch의 open file의 개수가 작아서 생기는 일인 것 같습니다. elasticsearch의..

리눅스에서 elasticsearch 1.2.1 설치하기 1. elasticsearch 다운로드 http://www.elasticsearch.org/overview/elkdownloads/ 링크주소를 복사해서 wget으로 받는다 wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.2.1.tar.gz 다운로드 받은 파일 압축 푼다 tar -xvf elasticsearch-1.2.1.tar.gz 현재 다운로드되는 버전은 1.2.1이다. 설치 매뉴얼을 확인한다. http://www.elasticsearch.org/guide/en/elasticsearch/guide/current/_installing_elastics..

이번 포스팅에서는 nutch 위키에 있는 예시를 따라가면서 간단하게 웹 크롤링을 해 보겠다. 참조: http://wiki.apache.org/nutch/NutchTutorial#A3.3._Using_the_crawl_script 1. apache-nutch-1.8/runtime/local/conf/nutch-site.xml을 아래와 같이 수정하여 crawling agent에 My Nutch Spider라는 이름을 설정했다. http.agent.name My Nutch Spider 2. apache-nutch-1.8/runtime/local 디렉토리에서 mkdir -p urls 로 urls 하위 디렉토리를 만든다. 3. urls 폴더 아래에 seed.txt 파일을 생성하고 http://nutch.apach..