한글이 즐거운인터넷, kor-seek

김영렬( 넷네임:한여름)
대전광역시 유성구 궁동 220
충남대학교 화학공학과
E-mail : summerb@kor-seek.chungnam.ac.kr
URL : http://kor-seek.chungnam.ac.kr/summerb/

Abstract:: 한글이즐거운인터넷, kor-seek은 1995년 12월에 국내 최초로 선보인 한글 웹 검색엔진으로서 한글웹정보의 확산, 우수한 한국 인터넷 자원의 정리및 대내외 홍보등를 목적으로 국내네티즌을 위한 정다운 길잡이가 되고자 노력하여 왔다.
질의어 위주의 간단한 검색 기능으로 출발하였으나 웹자원의 분류검색 및 로봇에이전트를 이용한 확장 검색 서비스를 추가하였고 현재에도 지속적인 개발이 이루어지고 있다.
PENTIUM급의 PC 1대뿐인 열악한 환경하에 서 운영하고 있 음에도 불구하고 사용자들의 총접속회수는 개통이래 100만건에 달하고 있다. 최근 웹의 저변확대를 위하여 뽀송방명록을 공개배포하고 있으며 웹비비를 개발하여 시범적으로 몇개 기관에 지원 하고 있다.
로봇에이전트 전용시스템 구축, 검색기법의 개선, 새로운 웹서비스의 개발을 꽤 하여 이용자들의 편의증진에 힘쓸 계획에 있다.
Keywords:: WWW robot search 검색엔진 로봇에이전트 kor-seek 한여름

1. 서론

1.1 개요

kor-seek은 국내 웹자원에 대한 안내가 영문으로만 제공되던 서버리스트가 전부였던 시기인 1995년 12월에 탄생하게 되었다. 컴퓨터와 마찬가지로 인터넷 문화역시 외국에서 그대로 유입되어 온 탓에 관련 영어 전공어에 밀린 한글이 자리잡지 못하던 때를 간신히 벗어나 웹에 한글이 유행 하기 시작한 초창기였다. 아직도 인터넷이 국외지향적이라서 영문일색인 홈페이지나 영어와 한글이 혼용되는 곳이 많지만 발표 당시에 비하면 국내 웹자원의 한글화는 상당히 진행 된 상태로 판단되며 앞으로도 그러한 경향은 계속될 것으로 보인다. 한글웹문화의 확산에 있어 필수불가 결한 요소중 하나가 바로 한글웹정보를 정리하고 정보를 검색해주는 한글검색엔진이라 하겠다. 단순한 열거식 서버리스트에서의 검색엔진으로서 도약하는 첫주자인 동시에 질의어기반의 검색 서비스와 분류검 색등을 갖춘 웹정보검색스시템, kor-seek의 전반적인 내용을 간략히 소개한다.

1.2 개발환경및 시기

1차 개발환경 : 1995.10. ~ 1996.7.
컴퓨터 SUN SPARC classic
IBM-PC 386SX
운 영체제 SUNOS 4.1.3
컴파일러 GNU C compiler 2.7.1

개인적으로 관리하고 있던 컴퓨 터를 이용하여 취미삼아 만들어보게된게 계기였다. 워낙 장비가 노후되어 서비스개통후 6개월을 채 견디지 못하고 하드디스크에 에러가 발생하여 금년 5월쯤에 시스템을 교체하여야 하는 상황에 직면했다. 결국 8월에 시스템을 교체하기는 하였으나 모든 개발이 중지되었던 터라 9월에 들어서야 정상서비스로 복귀하여 서비스향상을 기대하게 되었다.
2차 개발환경 : 1996.8. ~ 현재
컴퓨터 IBM-PC Pentium 166
운영체제 Linux slackware 3.0
컴파일러 GNU C compiler 2.7.2

후원자로부터 시스템을 받아 운영하기로 하였으며 웹코리아로부터 Pentium 166기종을 후원받아 현재까지 서비스하고 있다.

이용자 접속현황 : 개통이래 이용자 접속 현황을 보면 96년 10월 15일을 기준으로 100 만 건을 초과한것으로 나타난다. 이중 홈페이지가 31만여건을 하위분류서비스가 34만여건, 기본 검색 33만여건, 확장검색 14만여건이 카운터에 의해서 공식집계 되었으며 새로운 Url 등록및 열람, 국내 외 정보검색엔진 등의 접속등을 합하면 100만건을 훨씬 초과하게 된다.

2. 시스템의 구성 및 주요기능

시스템구성은 검색서비스와 직접 연관된 검색부분과 검색이외의 자료수집과 기타 기능에 대한 부가부분으로 나뉜다. 검색을 수행하는 부분은 CGI, 검색엔진, 자료화일로 구성되며 자료수집 부분으로는 웹등록부문과 로봇에이전트로 나뉘고, 기타기능에 대한 부분은 사용에 있어서의 몇가지 안내와 의견수렴을 위한 게시판이 있다. 자료화일은 국내 주요 홈페이지를 근간으로 작성된 기본자료와 가능한한 많은 웹페이지를 담아놓은 확장자료로 나뉘게 된다.

2.1 검색자료와 로봇에이전트

기본자료 : 주요 웹홈페이지에 대하여 요약정리한 자료로 초기 개발시에는 필자가 직접 정리한 600여건의 자료에 불과하였으나 이후 홈페이지 등록서비스를 통하여 등록자가 소개한 내용을 정리하였다. 기본자료는 인터넷상의 무작위로 널려진 많은 웹자원에 대하여 체계 적인 디렉토리 서비스를 제공할 목적으로 제목만큼은 필자의 임의대로 수정하였으며 정상적인 경우 영문과 한글이 자동으로 스위칭될수 있도록 두 버전의 제목을 가지고 있다.
제목의 수정에는 다음과 같이 정해진 몇가지 원칙이 적용되고 있다.

1. 가급적 'homepage', '홈페이지'는 사용하지 않는다.
2. 불필요한 수식어는 생략한다.
3. 포함하고 있는 자료와 연계성이 맞아야 한다.
4. 소속을 정확히 표기한다.

이렇게 함으로써 주워진 질의어에 대한 정확한 답변을 줄수가 있게된다. 또한 겹치는 제목에 대하여도 우선순위 인덱싱이 별도로 존재하여 우선순위를 두고 있다. 일례로 '충남대학교'라고 입력하면 충남대학교 홈페이지가 선두에 오르는 것을 볼수 있다. 인위적이라도 가능하다면 검색의 정확성을 제고하여야만 할 것이다.
이외에도 디렉토리 서비스를 위한 별도의 키워드를 갖는데 이 키워드는 확장검색에 필요한 URL 목록에도 지속적으로 관여하게 되며 분야별 질의어 위주의 서치 시스템에 활용하기 위함이다.
등록신청에 의한 자료확보방법을 사용하기 때문에 IP나 도메인 만으로 구분이 불가능한 국내 자료나 외국에서 운영되고 있는 서버의 한국관련 자료에 대한 자료들도 잘 정리되어 있다.

확장자료 : 필자의 소견으로는 가장 이상적인 검색이란 모든 웹에 대한 정형화된 데이터베이스화가 된 이후에나 가능할 것으로 보인다. 그러나 실상 기본자료처럼 일부 대표적인 자료만을 선별하여 정형화시키는 것은 가능할지 모르지만 모든 웹자원을 정형화시키기란 불가능하며 그 양또한 늘고 있는 형편을 판가름하기도 힘든 판이다. 이런 기타의 웹페이지에 대한 검색은 어쩔수 없이 질의어 기반의 검색에 의존할 수밖에 없으며 이러한 이유로 확장자료가 만들어지게 되었다.
확장자료는 기본자료의 URL을 기반으로 로봇에 이전트를 가동 시켜 얻어온 데이터로 요약형태와 전문형태로 정리되어 있다. 질의어 기반의 확장검색에서 검색 되며 주요홈페이지의 경우 간단한 조작으로 기본자료로 이동될 수 있도록 설계되어 있다. 확장 자료는 1회/달 주기로 갱신되고 있다.

로봇에이전트 : 기본자료의 URL을 기반으로 지정된 차수의 깊이까지 검색할 수 있도록 되어 있다. 가능한 필자의 아이디어에 기반하여 네트웍의 부하를 최소화시킬 수 있는 방향으로 모색하였으며 상당히 지능적이다.
공개소프트웨어인 libwww-perl을 수정한 버전과 직접작성한 프로그램을 번갈아 사용한 다.
주요 기능별 부분에 대한 요약은 다음과 같다.

URL선별기

수집될 문서의   주소가 타당성이 
        있는가를 검사한다.
1. 중복되는 URL제외
2. .kr도메인인가?
3. 예외도메인인가?
4. 기본 URL과 같은 서버인가?

URL 수집 및 파싱

1.  서로다른 서버로  구성된  지정숫자만큼의 웹자원을  확보한  다.
2. 웹자원을 수집한다.
3. 파싱 하여 전문형태로 보관한다.
4. 태그를 분리한다.

URL 리스트

1. 태그를 분석하여 새로운 유효 URL을 추출한다.
2. 기본URL로부터 거리를 표기한다.

URL선별기는 로봇의 효율을 극대화 시키기 위해 고안되었다. 로봇은 가능한한 많은 웹문서를 중 복되는 억세스 없이 정확히 수집하여야 하며 상위 링크된 URL과의 상관관계를 파악할 수 있어야 한다. 선별기는 우선적으로 중복되지 않는 URL리스트를 추리고 나서 정해진 순서에 의하여 중복 률을 최소화 시킨다.
우선 kr 도메인으로 끝나는 URL은 모두 유효로 인정하고 다음 kor-seek에 등록된 기본자료의 동디렉토리 및 하위디렉토리의 URL을 유효로 인정한다. 추가로 예외리스트(예 interpia.net, www-kr.org)여부를 판단하여 유효로 인정한다.
모든 URL은 프로토콜, 호스트, 포트번호, 디렉토리 경로, 사용자, 파일이름으로 구분된다.

http://kor-seek.chungnam.ac.kr:80/~summerb/index.htm

http
kor-seek.chungnam.ac.kr
80
summerb
/~summerb/
index.htm

호스트영역이외의 모든 부분이 동일한 경우(예를 들어 두 개이상의 네임으로 억세스되는 호스트나 아이피와 도메인이 혼재된 호스트...) 중복률을 계산하며 각각의 호스트별로 10개 이상의 URL을 가지고 특정 호스트와 80%의 중복률을 가질 경우 특정의존성표시를 해두고 있다. 향후 특정의존성 관계가 뚜렷한 호스트는 URL 리스트에서 제외시키기 위해서이다. 각 호스트의 개인홈페이지를 별도로 관리하고 있는데 이는 기본자료에 손쉽게 포함될수 있도록 하기 위해서이다.
로봇에이전트는 국내네트웍(특히 교육망)의 불안과 시스템의 성능저하로 제대로 운전이 못되는 경우가 많다. 정상적으로 작동할 경우 1달에 1회의 빈도로 확장자료를 재구성하도록 하였다. 향후 로봇에이전트을 위한 별도의 시스템을 보충할 계획이다.
소수시스템에 대한 일방적이고 무리한 억세스를 피하고 네트웍의 부하에 영향이 없도록 40개의 호스트를 지정하고 변경하여가며 각각 시간을 두어 웹자원을 가져오는데 새벽이나 공휴일에는 풀가동되고 이외의 시간엔 시간 차를 두어 작동하도록 하였다.
선별하는데 시스템의 부하가 많이 걸리기 때문에 하루종일 모아오는 자료의 양은 최대 1만여건에 불과하지만 네트웍부하를 줄이는데는 효과적으로 보고 있다.

2.2 분류검색

2.3 기본검색

질의어 분석 : 질의어 분석은 가능한한 원어의 비중을 높이기 위하여 스페이스를 기준으로 한 단어구별을 위주로 하고 불용어를 제외시킨 1차 질의어와 입력 에러를 추정하기 위하여 한글및 영문자 이외의 기호문자등을 삭제한 2차 질의어로 구분하여 해당단어에 대하여 상관성을 계산할때 참조토록 하였으며 검색시 상관비율을 1차와 2차에 비해 차등을 두도록 설계했다.
검색 : 한가지 항목에 해당 질의어가 얼마의 상관관계를 가지고 있는 가에 대하여 는 다음과 같은 사항들을 고려한다.

-> 똑같은 문자열이 있는가?
-> 해당 문자열의 띄어쓰기가 되어 있는가?
-> 해당 문자열의 일부를 포함하고 있는가?
-> 문자열의 중복되어 나타나는가?

주어진 질의어에 대하여 대단히 민감하게 관련성을 계산하므로 다소 느릴거라 생각할 수도 있으나 주요 웹문서는 모든URL에 비해 상대적으로 적은 수치이기 때문에 속도는 고려하지 않았으며, 검색시험결과 아주 빠른것을 확인하였다. 과거 SPARC classic으로도 충분한 검색이 이루어진 것도 이를 뒷받침해준다.

2.4 확장검색

2.4 웹의 등록

이상으로 한글검색엔진 kor-seek의 기능을 간단히 살펴보았다. '한글이 즐거운 인터넷'에서는 검색 서비스 이외에도 홈페이지 작성에 필요한 악세사리 프로그램들을 개발하여 보급할 계획이다. 현재 개인홈페이지에서 간단히 압축만 풀면 그대로 사용가능한 방명록 프로그램을 공개중이며 kor-seek홈페이지에 오면 언제든지 다운받을 수 있다. 언제나 한국인의 발걸음이 끊이지 않는곳 한글이 올바로 대접받는 정보화사회 구현을 위하여 조금이나마 도움이 되었으면 하는 바램이다.

컴퓨터	SUN SPARC classic IBM-PC 386SX
운 영체제	SUNOS 4.1.3
컴파일러	GNU C compiler 2.7.1

컴퓨터	IBM-PC Pentium 166
운영체제	Linux slackware 3.0
컴파일러	GNU C compiler 2.7.2