서치엔진의 정보 갱신은 로롯 에이전트(robot agents)를 통하여 이루어지는데 각 홈페이지를 순회하며 정보를 수집하는 방법을 사용한다. 로봇 에이전트는 지정한 URL을 순회하며 각 홈페이지들의 정보를 수집하고 수집된 정보에 대하여 서치 엔진은 사용자가 편리한 방법으로 검색을 할 수 있는 인덱스를 제공한다.
본 강의에서는 로봇 에이전트의 종류와 동작 원리, 기본적인 구조에 대하여 살펴 보고 서치 엔진이 이 로봇 에이전트를 이용하는 방법에 대하여 설명하고 후반부에는 일일이 많은 서치 엔진을 검색할 필요없이 여러 서치 엔진들을 동시에 검색 할 수 있는 웹 메타 서치 엔진의 구현을 설명하도록 한다.