정규식
-
sed로 " 안의 , 제거하기프로그래밍/DB 2020. 1. 8. 15:07
load data infile로 csv 파일 내용을 mysql 테이블로 import했는데 warning 개수가 넘 많다 -_-;; LOAD DATA INFILE '/var/lib/mysql-files/sample.csv' INTO TABLE sampleFIELDS TERMINATED BY ','IGNORE 1 LINES; Query OK, 12147957 rows affected, 65535 warnings (1 min 44.92 sec) show warnings; 로 경고 메세지를 확인하니 아래와 같이 테이블의 input columns 개수보다 칼럼 개수가 많다고 한다. Warning | 1265 | Data truncated for column '전용면적' at row 3758 || Warning |..
-
정규식 online tester - regex101 & preg_match_all프로그래밍/자연어처리 2018. 5. 5. 19:25
자연어처리를 하다보면 종종 정규식을 사용하게 되는데정규식 (pcre)를 코드에 반영하기 이전에 온라인에서 내가 짠 정규식이 제대로 작동하는지 확인하고 싶을 경우가 있다. 그럴때 사용할 수 있는 온라인 정규식 tester & debugger 사이트를 소개 한다. https://regex101.com/ 사이트 바로가기 왼쪽의 FLAVOR 메뉴에서 php의 pcre, javascrip, python, golang등의 다양한 정규식 처리를 할 수 있는 프로그램 언어를 선택할 수 있다. 빌라 이름에서 ()로 들어가 있는 문자열을 찾아 ()에 들어가 있는 세부 정보를 제거 하고 대표 빌라 이름들만 추출하고 싶어 정규식을 작성하였다. 한글도 되어 있는 빌라 이름이 없으면 그냥 숫자라도 남기기로 했다. REGULAR ..
-
postgreSQL - 필드에서 공백 제거하기프로그래밍/DB 2018. 3. 18. 14:52
postgreSQL 의 필드에서 공백 제거하기 보통 trim()을 사용해서 제거하지만 trim 함수는 모든 공백을 다 제거하는 것이 아니라 ascii 코드가 32인 공백만 제거한다. 참고로 공백 부분의 ascii 코드 확인 쿼리는 아래와 같다. select ascii(left(name, 1))from tablenamewhere id = 723; 검사해보니 9(탭문자)가 나왔다. 필드에서 탭 등의 모든 공백을 다 제거하기 위해서는 정규식 표현을 사용해야 한다. update tablename set name = REGEXP_REPLACE(name, '^\s+', ''); 정규식 ^\s+에서 ^은 문장의 시작을, \s는 공백을, +은 1번 이상을 의미한다. 기존의 필드와 새로 업데이트한 필드를 비교해보니이름 ..