IT
-
리눅스(CentOS) 에 nutch 1.8 설치 하기프로그래밍/Etc 2014. 5. 5. 14:58
Apache Nutch는 자바 기반 오픈 소스 web crawler이다. 현재 Nutch에는 두가지 버전이 나오고 있다. Nutch 1.x : 하둡을 기반으로 함 Nutch 2.x: Apache Gora를 storage abstraction layer로 사용하여 HBase, Cassandra 같은 NoSQL 데이터베이스 사용이 가능 Nutch 1 과 2의 성능 비교를 확인 해 보았다. 참조: http://digitalpebble.blogspot.kr/2013/09/nutch-fight-17-vs-221.html 비교버전: nutch 1.7 과 2.2.1 (Hbase / Cassandra) 요약: 기본 nutch command (inject / generate / parse / update) 수행시 평균시..
-
리눅스(CentOS) 에 solr 설치하기프로그래밍/Etc 2014. 5. 4. 22:55
nutch로 수집한 데이터들을 색인하기 위해 solr를 설치하기로 했다. solr는 lucene기반의 엔터프라이즈 검색 플랫폼 오픈소스로 nutch와 연동이 쉽다고 한다. 참고: http://wiki.apache.org/nutch/NutchTutorial solr 설치하기 1. 아래 사이트에서 solr 다운받기 http://www.apache.org/dyn/closer.cgi/lucene/solr/ 2. solr-4.7.2.zip 을 다운받아 unzip solr-4.7.2.zip 으로 압축풀기 3. solr-4.7.2/example 에서 java -jar start.jar 실행 스크립트 실행후 아래 링크에 접속해서 아래와 같은 화면이 나오면 정상적으로 설치가 된 것이다. http://localhost:8..
-
체인 크로니클 마법사 페스티벌 200 정령석 가챠카테고리 없음 2014. 4. 20. 13:10
다시는 가챠를 하지 않겠다고 결심했으나 또 해버렸.... 이런 다 베르나 때문임 엉엉 저번 페스 이후로 베르나 뽑겠다고 현탑에만 버린 정령석으로 린세 한돌을 했음 ㅎㅎㅎㅎㅎㅎㅎㅎㅎㅎ 법사 페스 끝나면 베르나를 영영 못 뽑을 것 같다는 불안감에 정령석 200개 충천 완료 그러나 치아리가 좋다는 말에 현탑이 아닌 마법사 이벤트 페스티벌을 선택 (여기서부터 이미...) 그리고 가챠는 시작되었습니다 ^_ ㅠ 이번은 두번째니까 이미 있던 3성은 과감히 패스! 후후후후... 이번 목표는 베르나 또는 치아리! 헉 시작한지 다섯번 만에 오성 이슬렘이 똵!!!!!!!!!! 베르나는 아니지만 예감이 좋다 +_+ ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 팥빙수 ㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋㅋ 하지만 이 일이 실제 일..