튜토리얼: 정보검색 기초

승현석

수원시 팔달구 매탄3동 416번지

삼성전자주식회사 기술총괄 소프트웨어센타

E-mail : hseung@anysearch.com

URL : http://www.anysearch.com/~hseung/

Abstract:

근래에 들어와 정보의 교류를 손쉽게 해주는 월드 와이드 웹의 등장으로 인터넷에서 접할 수 있는 정보의 양과 종류가 급속도로 증가하고 있다. 하지만 어떤 중앙관리체계가 존재하지 않는 인터넷에서 그것도 마치 거대한 분산 데이타베이스와도 같은 곳에서 막연하게 정보를 검색하려고 한다면 자칫 정보의 쓰레기 속에서 미아가 되어 버릴 수 있다.	이러한 비정형적인 성격을 띈 인터넷에서 원하는 정보를 신속하고 정확하게 검색을 하기 위해서는 자신이 찾고자 하는 정보의 유형과 그에 알맞는 검색전략을 세워, 이를 토대로 검색된 정보를 자신의 입장에 맞게 분석, 가공할 줄 알아야 한다. 본 강의에서는 인터넷에서 실질적이고도 효과적인 정보검색 수행능력을 갖추기 위한 기본 개념을 튜토리얼 형식으로 살펴보고자 한다.

Keywords:

Information Retrieval, Search Engine, 정보검색, 검색엔진

1. 서론

정보검색이란 개인이나 조직이 의사결정에 필요한 정보를 찾는 일련의 과정을 말하며, 최소한의 비용으로 최대의 효과를 얻을 수 있는 정보를 수집하는 것을 목표로 삼는다 []. 특히 인터넷에 접할 수 있는 정보는 인터넷의 특성상 체계적이지 못하며 신뢰성이 유료 데이타베이스에 비해 취약한 편이다. 따라서 그 방대한 정보를 일관된 양식으로 정리하기란 현실적으로 많은 어려움이 따르게 마련이다. 인터넷에서의 효과적인 정보검색을 위해서는 찾고자 하는 정보의 유형과 그 유형에 걸맞는 검색전략을 세워, 이를 토대로 검색된 정보를 자신의 입장에 맞게 분석 가공할 줄 알아야 한다. 검색이란 자료 검색, 정보 분석, 재가공까지의 과정을 마쳤을 때 정보검색을 하였다고 할 수 있다 [].

Cjlee96

Lim

2. 정보의 유형

인터넷에서 접할 수 있는 정보의 유형은 크게 비정형성 정보와 정형성 정보의 두가지로 나뉠 수 있다. 비정형성 정보는 야후나 알타비스타와 같은 일반적인 검색엔진에서 검색할 수 있는 정보들로, 대개 그 가공형태나 정보의 품질이 낮은 편에 속하는 정보들을 일컫는다. 이는 해당 정보의 종류나 제공자가 일정하지 않고 인터넷상에 광범위하게 분산되어 있기 때문이다. 반면 정형성 정보는 신문사나 유료 데이타베이스 등과 같이 인터넷에 직□간접으로 연동되어 있는 전문 데이타베이스에서 검색할 수 있는 정보들로, 그 가공형태나 품질이 매우 높은 편에 속하는 정보들을 일컫는다 [. 이는 정보의 입력, 여과, 및 가공의 단계가 일관성 있게 진행되어 정보의 품질을 보장받을 수 있다는 장점을 가진 반면, 해당 정보의 종류나 영역이 매우 한정적이라는 단점을 지니고 있다.

Kimhs96]

그러면 왜 일반적인 검색엔진에서는 정형성 정보들을 검색하기 어려운가. 이는 정형성 정보들을 주로 제공하는 전문 데이타베이스들에서 접할 수 있는 문서들의 대부분이 사용자의 요청에 따라 그 때 그 때 생성되는 동적인 문서(Dynamic Web Pages)들로 이루어져 있기 때문이다. 동적인 문서는 기존의 웹 문서와는 달리 별개의 파일로 존재하지 않는다.	따라서 일반 검색엔진에서 자료수집용으로 운영하는 웹 로봇들은 이러한 동적인 문서들을 따로 저장하기가 매우 곤란해진다. 특히 근래에 와서는 서버내의 문서들이 거의 대부분 이러한 동적인 문서들로 이루어진 전문 데이타베이스들이 많이 생겨나고 있다.	이러한 사이트의 대표적인 예로 인터넷 영화 데이타베이스(IMDB)를 꼽을 수 있다. IMDB에는 수천개 이상의 영화에 관련된 각종 정보를 자체 데이타베이스에 수록하고 있다. 그 곳에 접속한 사용자는 여러 조건에 대해 검색을 할 수 있으며, 검색된 문서들은 사용자의 입력에 따라 그 때 그 때 동적으로 생성된 것이다.

따라서 정보검색을 실시함에 있어 가장 중요한 점은 해당 정보가 일반 검색엔진에서 찾을 수 있는 성질의 것인지, 아니면 전문 데이타베이스를 이용하여 검색할 수 있는 것인지를 판단해야 한다는 점이다. 전문 데이타베이스가 엄연히 존재하는데 일반 검색엔진에서만 검색을 시도한다면 시간대비 얻는 정보의 품질이 결코 좋지만은 않을 것이다. 대개 전문 정보검색사들은 각종 데이타베이스에 대한 리스트를 분야별로 정리 이를 지속적으로 유지 관리하고 있으며, 이것이 일종의 노하우가 된다고 한다. 물론 초보자의 입장에서 검색을 시도하거나, 혹은 새로운 분야에 관련된 정보를 검색해야만 하는 일이 생겼다면 해당 분야에 관련된 전문 데이타베이스가 존재하는지 조차도 모를 수 있을 것이다. 이럴 때는 일반 검색엔진을 이용하여 전문 데이타베이스의 존재여부를 검색하면 될 것이다.

3. 검색 도구

일단 찾고자 하는 정보를 정하고 나면 그 다음으로 중요한 것은 실제 검색을 수행함에 있어 사용되는 검색도구이다. 검색도구를 올바로 이해하지 못한다면 효과적으로 검색을 수행하지 못함은 당연한 처사다. 여기서는 검색 방법과 검색 분야에 따라 여러 검색 도구를 정리 설명하도록 한다.

3.1 검색 방법에 따른 분류

3.1.1 주제별 검색엔진

일명 디렉토리 서비스라는 주제별 검색엔진은 각 분야를 주제별로 정리하여 사용자로 하여금 단계별로 선택해 들어가 결국 최종 정보에 도달할 수 있도록 구성된 검색도구를 일컫는다. 많은 사람들이 애용하는 야후는 수작업으로 정보를 분류해 놓아 주제별로 원하는 정보를 찾을 수 있도록 서비스해주는 주제별 검색엔진의 대표적인 예이다.

주제별 검색엔진의 장점이라고 한다면 해당 분야에 관련된 정보들을 한눈에 파악하기 용이하다는 점과 키워드로는 찾기 힘든 큼지막한 정보들을 찾는데 편리하다는 점 등을 꼽을 수 있다. 특히, 찾고자 하는 정보가 키워드로 표현하기에는 너무 일반적이거나 애매할 경우 그 위력을 발휘하게 된다.

현재 주제별 검색엔진은 거의 대부분 수작업을 통해 정보들이 분류되는데, 폭팔적으로 증가하는 정보의 양에 사람이 분류할 수 있는 데에는 한계가 생기기 마련이다. 이는 새롭게 올라오고 갱신되는 정보를 사람이 일일히 이를 확인하고 분류할 수 없기 때문이다. 따라서 주제별 검색엔진에서 찾을 수 있는 정보는 인터넷의 일부분에 지나지 않는다는 점을 명심해야 한다. 이러한 문제 때문에 요즘은 특정 분야만을 전문적으로 분류한 검색 사이트들이 생겨나고 있다.

3.1.2 키워드형 검색엔진

키워드형 검색엔진은 말 그대로 해당 정보를 지칭하는 혹은 그 정보에 나타난 단어를 입력하여 검색하는 검색엔진들을 일컫는다. 이러한 검색엔진은 대개 자체적으로 색인 데이타베이스를 구축, 검색속도를 향상시키고 있다. 알타비스타와 같은 일반적인 웹 검색엔진 뿐만 아니라 신문사나 그 외 전문 데이타베이스에서 주로 제공하는 검색 방법이다. 키워드형 검색엔진을 제대로 사용하려면 각 검색엔진에서 제공하는 각종 질의 연산자들과 검색 옵션을 이해하여야 한다. 질의 연산자 중 대표적인 것으로 AND, OR, 그리고 NOT 등을 꼽을 수 있다. 특히 AND 연산자는 불필요한 정보들을 걸러내는데 상당한 도움을 줄 것이다. 그 외에 유사어나 동의어 등을 각 검색엔진에서 제공하는 검색 옵션들과 적절히 활용하면 큰 문제 없이 원하는 정보를 검색할 수 있을 것이다.

하지만 문제점이 없는 것은 결코 아니다. 키워드형 검색엔진의 핵심인 색인 데이타베이스는 몇가지 변수에 의해 그 검색능력이 좌우된다. 변수로 작용하는 요소 중 대표적인 것으로 색인한 자료의 건수, 색인 데이타베이스의 갱신 주기, 그리고 검색 기법 등을 들 수 있다.

색인 자료 건수: 자료가 방대해질수록 일반적인 키워드로 검색시, 많은 정보가 검색되어, 오히려 난감해질 수 있다. 반면 자료가 너무 없으면 아예 검색된 결과물이 없을 수 있다.

색인 갱신 주기: 색인 데이타베이스가 얼마나 자주 갱신되느냐에 따라 시시각각으로 올라오는 최신의 정보를 검색할 수 있는지의 여부가 판가름 난다. 특히 사이트의 내용이 자주 바뀌는 신문사와 같은 경우 잦은 갱신이 필요하다.

검색 기법: 각 검색엔진들마다 나름대로의 검색 기법이 존재하고, 이것이 검색된 결과물들의 점수가 결정된다. 특히 전세계의 사이트를 검색해주는 일반적인 검색엔진들의 경우, 동일한 키워드에 대해서 서로 다른 결과물을 보여 주는 경우가 많은데, 이는 위에서 지적한 자료 건수와 갱신 주기에도 영향을 받아서 그럴 수도 있지만, 검색 기법에 따라 우선 순위가 달라지기 때문이다.

이러한 이유 때문에 어느 한 검색엔진의 속도나 자료가 많다고 하여 그 검색엔진만을 사용하게 된다면 다양한 정보를 접할 수 있는 기회를 스스로 저버리게 된다는 점을 기억하자.

3.1.3 메타 검색엔진

메타 검색엔진은 인터넷 상의 여러 검색엔진들의 검색 Form을 하나의 HTML 페이지에 모아 두어 각각의 검색엔진을 한곳에서 직접 검색할 수 있도록 꾸며 놓은 커다란 검색 인터페이스다. 조금 발전된 형태의 메타 검색엔진들은 자바 스크립트나 주제별로 검색 Form을 정리해 놓은 곳도 있다. 엄격히 말하자면 검색엔진이라고 할 수는 없지만, 나름대로 장단점이 있다.

영문: ,

CUSI

W3 Search Engines

한글: ,

찾고파

구골

사전: , ,

OneLook Dictionaries

Research-It

도서관 검색

3.2 검색 분야에 따른 분류

3.2.1 일반 검색엔진

일반 검색엔진이라 함은 특정한 분야에 편협되지 않고 전세계에 올라 온 자료를 검색해주는 검색엔진을 말한다. 주로 웹 문서를 그 검색대상으로 하며, 대개 주제별로 자료를 정리해 놓았거나 키워드로 검색을 할 수 있도록 서비스하고 있다. 이곳에서 검색할 수 있는 정보는 전세계에 걸쳐 분산된 자료이기 때문에 정보의 질이나 수준을 보장받을 수 없다.

영문: , , , , ,

AltaVista

Excite

Hotbot

Infoseek

Lycos

WebCrawler

영문 (주제별): ,

Yahoo

Galaxy

한글: , , , , , , ,

까치네

코씨크

애니서치

유니파인더

웹글라이더

심마니

정보탐정

와카노

한글 (주제별): , , ,

DiR

Inside Korea

Zip

Zoom

3.2.1 전문 검색엔진

인터넷에 올라 오는 정보가 급속도로 증가함에 따라, 특정 분야에 대한 전문 검색엔진들이 속속히 등장하고 있다. 이는 일반 검색엔진에서 검색하기 어려운 정보들을 검색할 수 있게 해주거나, 자체 서버에 올라오는 정보들만 검색해주는 검색엔진들이다. 예를 들어 기업정보나 특허 정보, 신문 기사 등을 검색하려고 할 때, 이들 정보들만 특정적으로 다루는 검색엔진에서 검색을 하게 되면 고품질의 정보를 손쉽게 찾을 수 있을 것이다. 특히 지리정보시스템이나 이미지 검색엔진들과 같은 멀티미디어 정보를 검색해주는 검색엔진들은 기존의 일반 검색엔진에서는 전혀 검색할 수 없었던 새로운 미디어를 검색 가능케 해준다.

기업:

비지니스 검색엔진 목록

뉴스: ,

NewsPage

NewsTracker

쇼핑: ,

Price Watch

Computer ESP

영화:

Internet Movie Database

지리정보: ,

MapQuest

Xerox PARC Map Viewer

이미지: ,

Image Surfer

WebSeer

4. 대리 검색

흔히 인터넷은 정보의 보고며, 정보의 바다라고 한다. 하지만 근래에 와서는 너무나 많은 정보 때문에 정작 원하고자 하는 정보를 찾기가 힘들어 지고 있어, 급기야 많은 사람들이 인터넷을 정보의 쓰레기장이라고 여기고 있는 실정이다. 그런데 이제는 정보의 쓰레기장을 떠나서 인터넷은 검색엔진의 쓰레기장으로 대두되고 있다. 즉, 정보검색의 시발점인 검색엔진의 선택에서부터 난관에 부딪히게 된다는 뜻이다. 그만큼 인터넷을 통해 서비스되고 있는 검색엔진들의 종류와 숫자가 다양해지고 있는 것이다. 여태까지는 사용자가 직접 검색엔진에 접속하여 정보를 검색하는 방법에 대해 설명해 왔으나, 여기서는 검색 작업 자체를 대행해주는 정보검색 대행업체와 비록 초보적인 수준이기는 하나 정보검색을 대행해주는 에이전트들에 대해 설명하도록 한다.

4.1 정보검색 대행업체 (Information Brokers)

정보검색 대행업체는 고객이 요청한 정보를 여러 매체 및 온라인 데이타베이스 등을 활용하여 검색을 수행하고 그 결과를 보고해주는 일을 하는 곳이다. 정보검색 대행업체는 인터넷이 대중화되기 이전부터 존재해 왔으며, 개인보다는 주로 기업쪽에서 의사 결정에 필요한 시장 조사나, 기술 동향, 경쟁사의 전략분석등과 같은 정보를 정보검색 대행업체에 의뢰하는 편이다. 검색 기간은 단기일 수 도 있으며 지속적으로 정보를 분석 이를 보고해 주는 장기성 검색 작업도 있다. 정보검색 대행업체는 특히 상용 데이타베이스를 많이 이용하는 것으로 알려져 있다.

해외: ,

야후의 목록

answers.com

국내: , ,

장미디어 인터랙티브

인터넷과 컴퓨터

4.2 정보검색 에이전트 (Information Retrieval Agent)

정보검색 에이전트는 말 그대로 사용자를 대신하여 정보검색 작업을 수행하고 그 결과를 보고해주는 컴퓨터 프로그램으로, 그 궁긍적인 목표는 정보검색 대행업체에서 근무하는 정보검색사의 역할을 소프트웨어로 구현하여 보다 많은 사람이 정보를 손쉽게 검색할 수 있도록 하자는데 있다 []. 하지만 아직은 대다수의 에이전트들이 인터넷에 올라 온 검색엔진을 활용한 정보검색 등 초보적인 수준에 머무르고 있는 실정이나, 향후 많은 연구개발등을 통해 차세대 검색도구로 각광받을 것으로 전망된다.

Hseung96

일반: , , , , ,

Insane Search

OnRamp

MetaCrawler

ProFusion

Savvy Search

미스 다찾니

쇼핑: , , ,

Bargainbot Search Agent

BargainFinder Agent

Jango

MX BookFinder

5. 정보검색 전략

검색할 내용이나 주제 확정

가능한 검색의 방법과 시간을 고려한 검색계획 수립

실질적인 검색 진행

검색결과를 검토

적절한 형태로 재가공

6. 결론

본 튜토리얼에서는 정보검색 수행능력을 갖추기 위한 기본 개념을 정보의 유형이라는 관점에서 살펴 보았으며, 인터넷에서 이용할 수 있는 검색도구를 그 방법과 검색 분야에 따라 분류하여 각각의 장단점을 이해하도록 설명하였다. 하지만 검색도구들의 폭발적인 증가로 어떤 검색도구를 선택하여 검색을 하여야만 가장 최적의 정보를 얻을 수 있는지에 대한 문제가 점차 정보검색의 성공여부를 판가름 시킬 것으로 전망된다. 이러한 이유 때문에 기업쪽에서는 정보검색 대행 업체들에게 검색작업을 의뢰하고 있지만, 에이전트 관련 연구들이 활발히 진행되면서 정보검색이란 작업이 보다 보편화되고 정보사회의 윤활유 역할을 할 것으로 기대된다.

참고문헌(References)

[Cjlee96]

이창재, "정보검색과 검색엔진", 삼성전자 기술총괄 E-CIM 센타, 1996.

[Hseung96]

승현석, "정보검색의 새로운 세계, 에이전트를 잡아라", 월간 인터네트 4월호, 1996, (주)정보시대.

[Lim]

임환섭, "웹을 통한 정보검색의 활용 예," 부산외국어대학교

URL: http://www.pufs.ac.kr/~hslim/search/web-search.html

[Kimhs96]

김화수, "전문 DB 이용한 비즈니스 정보검색", 월간 인터네트 11월호, 1996, (주)정보시대.

각주(Footnotes)

(1)

http://www.yahoo.com/Business_and_Economy/Companies/Directories/