you've got to find what you love. you've got to find what you love.

네이버 뉴스 검색 API 네이버에서 제공하는 뉴스 검색 API 기본 정보를 저장해보았습니다. https://developers.naver.com/docs/search/news/ 하루에 25000건 까지 사용이 가능합니다. 간단하게 작성했던 포스팅인데 지금도 가끔씩 검색 유입이 있어서 예전에 뉴스 검색 crawler 작성해서 github에 올려두었던 것 추가합니다. php로 작성했고 json으로 받은 결과를 csv 형태로 변환해서 저장하는 예제입니다. https://github.com/roboreport/doc2vec-api/blob/master/data/crawler/cron_news.php

elasticsearch 색인 오류 색인할 때 다음과 같은 에러가 발생해서 한참 삽질 했는데 mapping 파일에서 mappings 가 아니라 mapping이라 써서 그런 거였다 ㅠㅠ "error":{"root_cause":[{"type":"illegal_argument_exception","reason":"unknown setting [index.mapping._doc.properties.building_type.type] please check that any required plugins are installed, or check the breaking changes documentation for removed settings"}], .... 직접 매핑 파일을 작성 안하고 키바나에서 매핑을 복사해..

참고: 날짜 타입 https://www.elastic.co/guide/en/elasticsearch/reference/current/date.htmlbulk 색인하기 https://www.elastic.co/guide/en/elasticsearch/guide/2.x/bulk.htmlindex 확인방법 https://www.elastic.co/guide/en/elasticsearch/reference/current/_exploring_your_data.html관련 포스팅 : http://yookeun.github.io/elasticsearch/2018/03/09/elastic-mapping/ elastic search 는 dynamic mapping 또는 explicit mapping 이 있다. dynam..