구글 맷 커츠 총괄엔지니어 “구글 검색은 200만분의 1초 승부”

맷 커츠 총괄엔지니어가 밝힌 검색의 비밀

《 구글엔 ‘검색경찰’이 있다. 예를 들어 ‘성탄절 선물’을 검색창에 입력했는데 ‘△△백화점 선물 세일’ 홈페이지가 검색결과 맨 위에 나오면 해당 백화점은 큰 이익을 본다. 실제로 이런 결과를 내기 위해 온갖 수단을 동원해 구글 검색을 속이려는 이들이 있다. 구글 검색경찰인 웹스팸팀은 이들을 잡아내는 역할을 한다. 구글의 맷 커츠 웹스팸팀장(총괄엔지니어)을 지난달 30일 서울 강남구 역삼동 구글코리아 사무실에서 만났다. 》

지난달 30일 방한한 맷 커츠 구글 웹스팸팀장은 “검색 기술의 진화는 이제 겨우 시작” 이라며 “인터넷에선 사람들이 비슷한 견해만 계속 접하는 경우가 많은데 앞으로 단어 사용빈도를 분석해 한 검색어에 대해 상반된 결과를 보여주는 검색서비스 등이 곧 나올 것”이라고 말했다. 구글코리아 제공

그는 2000년부터 오늘날까지 구글 검색을 만들어 온 핵심 엔지니어 2명 가운데 1명이기도 하다.

2010년 미국에서는 대형 백화점 체인인 JC페니가 구글 검색결과를 조작해 화제가 됐다. 크리스마스 선물 관련 검색을 할 때마다 어김없이 구글 검색결과 맨 위에 JC페니 홈페이지가 뜬 것이다. 이를 위해 JC페니는 수많은 블로거와 검색광고 대행사에 자신의 홈페이지를 링크해 달라고 요청하며 돈을 줬다. 구글의 검색결과 표시 방식이 링크가 많이 된 페이지를 중요한 검색결과로 본다는 걸 알고 돈으로 순위를 산 셈이다. 문제를 알아차린 커츠 팀장은 결국 구글 검색결과에서 JC페니 관련 내용을 모두 지웠다.

커츠 팀장은 “내가 하는 일은 인터넷에서 벌어지는 사기를 잡아내는 일”이라며 “이를 적발하지 않으면 정말 중요한 콘텐츠가 돈을 내고 조작한 콘텐츠에 밀려 인터넷에서 사라질 것”이라고 말했다. 그는 “인터넷에선 검색되지 않으면 존재하지 않는 것이기 때문에 책임을 느낄 수밖에 없다”고 했다.

이런 식으로 구글 검색의 규칙을 만드는 게 커츠 팀장의 일이다. 단순해 보이지만 지금 이 순간에도 세계 각국에서 초당 약 3만4000개의 검색어가 구글의 서버로 쏟아져 들어간다. 구글은 이를 순간적으로 처리해 검색어를 입력한 모든 사람에게 결과를 보여준다. 커츠 팀장은 “구글은 사용자가 검색어를 입력한 뒤 0.5초 이내에 결과가 나오지 않으면 검색에 실패한 것으로 본다”고 했다. 하나의 검색결과를 찾아내는 데 200만분의 1초 이하의 시간이 드는 셈이다.

이렇게 쏟아지는 검색어마다 결과를 보여주면서 중요도를 판단하려면 수많은 기준이 필요하다. 구글은 현재 약 200가지 기준을 사용한다. 검색결과에 검색어가 포함되느냐는 물론이고 남의 웹사이트에서 단순히 복사한 콘텐츠는 원본이 아니라는 이유로 중요도를 낮춘다. 과거에는 단순히 링크를 많이 받은 사이트가 중요한 사이트였지만 최근 10년 동안 엄청나게 복잡한 시스템으로 발전했다.

이런 검색서비스는 모두 자동화돼 있다. 검색결과를 나타내는 데 사람의 손은 들어가지 않는다. 하지만 역설적으로 이런 시스템을 만들기 위해 구글이 활용한 가장 중요한 방법은 ‘사람의 감독’이었다.

커츠 팀장은 “구글은 컴퓨터에 알아서 좋은 검색결과를 내달라고 주문하면 반드시 실패한다는 걸 안다”며 “우리는 특정 변수를 넣었을 때의 검색결과를 일일이 사람이 확인한 뒤 결과가 좋을 때만 시스템에 반영하는데 이것이 가장 정확한 자동화 시스템을 만든 비결”이라고 말했다.

최근 구글이 개인정보를 수집해 통합하는 문제가 논란이 되고 있다. 이에 대해 그는 검색의 미래를 설명하면서 의미있게 들리는 한마디를 했다. 그는 “구글은 검색결과를 더 유용하게 만들기 위해사용자가 검색을 하겠다는 마음을 먹는 순간부터 진정한 의도를 헤아리려 한다"며 "어디 있는지, 뭘 하는지 등 검색하는 사람의 맥락을 종합적으로 파악하려는 것”이라고 했다. 더 나은 서비스를 제공하기 위해 검색과 SNS, 위치정보 등을 통합관리하려는 의도가 이런 맥락에서 나온 것으로 보였다.

김상훈 기자 sanhkim@donga.com