you've got to find what you love. you've got to find what you love.

Apache Nutch는 자바 기반 오픈 소스 web crawler이다. 현재 Nutch에는 두가지 버전이 나오고 있다. Nutch 1.x : 하둡을 기반으로 함 Nutch 2.x: Apache Gora를 storage abstraction layer로 사용하여 HBase, Cassandra 같은 NoSQL 데이터베이스 사용이 가능 Nutch 1 과 2의 성능 비교를 확인 해 보았다. 참조: http://digitalpebble.blogspot.kr/2013/09/nutch-fight-17-vs-221.html 비교버전: nutch 1.7 과 2.2.1 (Hbase / Cassandra) 요약: 기본 nutch command (inject / generate / parse / update) 수행시 평균시..

nutch로 수집한 데이터들을 색인하기 위해 solr를 설치하기로 했다. solr는 lucene기반의 엔터프라이즈 검색 플랫폼 오픈소스로 nutch와 연동이 쉽다고 한다. 참고: http://wiki.apache.org/nutch/NutchTutorial solr 설치하기 1. 아래 사이트에서 solr 다운받기 http://www.apache.org/dyn/closer.cgi/lucene/solr/ 2. solr-4.7.2.zip 을 다운받아 unzip solr-4.7.2.zip 으로 압축풀기 3. solr-4.7.2/example 에서 java -jar start.jar 실행 스크립트 실행후 아래 링크에 접속해서 아래와 같은 화면이 나오면 정상적으로 설치가 된 것이다. http://localhost:8..

뉴스 크롤링 하기 위해 nutch을 설치한 후 실행하려는데 아래 메세지가 나왔다. Error: JAVA_HOME is not set. 자바가 안깔려있었나? 일단 환경 확인 # which java (자바위치 확인) /usr/bin/java 링크를 따라가보니 리눅스에 기본으로 깔려있는 openJDK만 있는 듯 하여 내친 김에 oracle jdk 다운로드 ㄱㄱ 일단 32비트인지 64비트인지 확인하니 64비트였다. # getconf LONG_BIT 64 http://www.oracle.com/technetwork/java/javase/downloads/java-archive-downloads-javase7-521261.html#jdk-7u45-oth-JPR 오라클 홈페이지에 가서 64비트 리눅스용 jdk를 다운..