you've got to find what you love. you've got to find what you love.

최근에 개인 홈페이지를 만들고 있는데 외부에 노출되기 싫어서 robots.txt 작성법을 알아보았다. robots.txt는 검색 엔진이나 웹 크롤러등의 웹 로봇이 사이트를 방문했을때 사이트의 수집 정책을 알려주기 위해 사용한다. wget에게도 사용 가능하다. 다만 정책을 알려주는 것 뿐이라 웹 로봇 작성자가 이걸 무시하고 수집해갈수도 있다. 이런 나쁜 로봇을 검출하기 위해서는 웹 로그 확인이나 트래픽 확인 등의 추가적인 작업이 필요하다. 사용법은 간단하다 웹 서버의 최상단 디렉토리에 robots.txt를 작성해서 넣어두면 된다. http://www.sample.com/robots.txt 참고로 robots.txt는 누구나 볼 수 있다는 점을 기억하자. 간단한 작성법과 사용법은 아래와 같다. 좀더 자세한 ..

폴더안의 파일 리스트를 읽어와서 이름을 일괄 수정해야 함. 폴더안에 있는 파일들 안의 내용이 라인별로 "날짜 내용"인 형태로 저장 되어있고파일들 내용을 날짜 순으로 정렬을 해서 다시 저장하려고 한다. #!/bin/shsearchdir=/var/www/html/searchdirfor entry in $searchdir/*do echo "$entry" filename="$entry" sed 's/Sep/\t09\t/g' $filename > $searchdir/tmp sed -i 's/Oct/\t10\t/g' $searchdir/tmp sed -i 's/Dec/\t12\t/g' $searchdir/tmp ... sort -u $searchdir/tmp | sort -n -k 4,4 -k 3,3 -k 2,2 ..