딥러닝 알고리즘, 구글 BERT 이해하기,

구글 BERT란 무엇인가

BERT는 Bidirectional Encoder Representations Transformers의 약자로 구글의 주요 알고리즘이다. 2018년 11월 오픈 소스로 출시 되었고, 2019년 1가을에 출시되어 전 세계적으로 배포된 딥러닝 알고리즘이다. 사용자가 검색 결과에서 더 높은 정확성과 효율성을 얻게 하기 위한 혁신 기술이다.

 

2019년 10월, BERT가 영어 검색 전용으로 출시되면서 구글 알고리즘에 큰 업데이트를 가져왔고, 몇달 뒤인 2019년 12월에는 72개 언어로 출시되어 전 세계 검색 결과에 영향을 미치고 있다. 

 

 

BERT의 목적

BERT의 목적은 구글 검색을 사람같이 만들어 주는 것이다. 다시 말해 사용자가 구글에서 어떤 검색어를 입력했을 때 구글이 그 검색어를 마치 인간처럼 이해하고 해석하도록 만드는 것이다.

 

BERT는 단어가 많고 전치사를 사용하는 음성 검색과 같은 대화 쿼리에서 특히 필요하다. BERT의 도입으로 검색창에 입력된 단어 뿐 아니라 문장 전체의 문맥을 이해할 수 있게 되었다. 따라서 사용자의 의도를 파악하여 정확한 검색 결과를 제공하는 구글의 목적에 가장 핵심적인 알고리즘이라고 할 수 있다.

 

이 검색 알고리즘은 데이터의 패턴을 인식 할 수 있는 뇌와 유사한 시스템으로 갖춰진 신경망을 사용하여 명령을 수행한다. 매우 지능적이며 이전과는 다른 방식으로 사용자의 쿼리를 디코딩하기 때문에 문장이나 또는 질문형의 맥락을 파악하여 사용자에게 가장 관련성이 높은 결과를 제공한다.

 

왜 BERT 인가?

예전의 구글에서는 긴 문장이나 전치사와 같은 단어가 포함된 질문형으로는 사용자가 원하는 검색결과를 얻기가 힘들었다. 이 전의 구글은 전체 문장 중 일부 키워드를 추출하여 검색결과를 보여주었기 때문에 사용자의 의도와 관련 없는 정보를 보여줄 때도 있었다. 그래서 사용자는 일부러 쿼리를 짧게 유지하고 간단한 단어로 원하는 정보를 얻기도 했다.

 

그러나 현재는 상황이 다르다. 음성 검색의 사용량이 점점 늘고 있고, 구글은 모든 검색의 50%가 음성을 통해 이루어질 것이라고 예측하고 있다. 단어 형식의 입력이 아닌 질문 또는 문장도 완전하게 이해해야하는 시스템을 갖춰야 할 때가 온 것이다.

 

그런 의미에서 BERT는 사람처럼 문맥을 이용하여 사용자에게 정보를 제공한다는 것이다. 영어의 경우 같은 단어여도 앞 뒤 문맥에 따라 다른 뜻을 가질 수도 있고, 또한 명사와 동사로 모두 사용할 수 있는 단어도 있다. BERT는 이 문맥을 이해하게 만들어 준다는 것이다.

 

구글은 이미 RankBrain으로 기계 학습을 사용하고 있었기 때문에 시스템을 갖추기 까지는 시간 문제였다. RankBrain은 문장 속에서 단어와 맥락을 이해하는 구글 최초의 AI 기반 알고리즘이다. 그렇다고 해서 BERT가 RankBrain은 대체품은 아니다. 오히려 RankBrain과 여러 기타 알고리즘들을 보완하는 것이라고 볼 수 있다.

 

BERT는 어떻게 작동할까?

이 전에는 특정 키워드를 입력할 때만 정확한 정보가 제공되었다. 긴 문장이나 구문으로는 결과의 정확도가 떨어졌다. 이 때 BERT는 작동한다. BERT를 통해 구글 검색엔진은 검색어의 뉘앙스와 문맥을 쉽게 해독할 수 있다.

 

BERT는 단어에서도 알 수 있듯이 양방향 인코더로 구성되며 NLP(자연어 처리) 사전 훈련 접근 방식을 용이하게 하는 신경망 기반 기술이다. 이 인코더는 입력한 텍스트를 읽고 적절한 예측결과로 변환한다. 이것은 문장 전체를 읽어서 서로 상호작용하는 방식을 이해한다는 것을 의미한다. 때문에 대화형 질문이나 장문의 문장에서 맥락을 파악하여 정확한 결과를 제공할 수 있다.

 

BERT는 문맥을 이해하게 만들기 때문에 검색어에 키워드가 직접적으로 삽입되지 않는 경우에도 사용자의 의도를 이용하여 검색 결과에 관련성 높은 결과를 제공할 수 있다.

 

BERT 도입으로 사용자가 누리는 혜택은 무엇인가?

• 사용자에게 관련성이 높은 검색 결과를 제공한다.
• 음성 검색 시에도 관련성이 높은 검색 결과를 제공한다

 

사람들이 검색 엔진을 이용하는 이유는 무엇일까? 보통적으로 어떤 정보를 얻거나 특정 웹사이트를 검색하기 위해 사용한다. BERT 업데이트로 구글 검색엔진은 더 정확하고 정확한 결과를 생성하여 사용자에게 제공할 수 있다.

 

또한 검색 엔진 사용자는 짧은 시간으로 더 많은 가치 있는 결과를 얻을 수 있다. 

 

BERT를 위해 무엇을 해야할까?

지금은 음성 검색의 증가로 롱테일 키워드와 질문이 더 많이 사용되는 시대이다. 중요한 것은 구글을 사용하는 사람들이 원하는 것이 무엇인지 아는 것이 중요하다. 

 

구글 트렌드를 이용해서 요즘 사람들이 관심 있는 주제가 무엇인지 조사해보고 그에 맞는 콘텐츠를 주기적으로 생산하는 것이 좋다. BERT는 구문이나 문장 쿼리에 중점을 두기 때문에 콘텐츠 제작자는 트렌드에 맞춰 롱테일 키워드를 사용하도록 노력하는 것이 좋다.

 

중요한 것은 BERT는 다른 알고리즘과 마찬가지로 무언가 잘못이 있거나, 저품질 웹사이트를 지원하지 않는다는 것이다. 따라서 주제를 더 정확하게 연구하여 사용자에게 가치 있고 심층적인 콘텐츠를 만들어야 한다. 이렇게 해야 BERT가 분석할 더 많은 정보를 제공할 수 있고 콘텐츠의 문맥을 파악하여 소비자에게 더 정확한 정보를 제공해줄 수 있다.

 

 

BERT를 위해 해야할 일, 콘텐츠 개발

이제 구글은 사용자가 검색하는 검색어의 목적과 의도를 파악하기 위해 연구하고 또 적용하고 있기 때문에 콘텐츠를 생성하는 마케터는 타겟을 위한 고품질의 콘텐츠를 제공하기 위해 노력해야 한다.

 

음성 검색과 모바일 사용이 증가함에 따라 사람들은 본인이 검색한 검색 내용에 대한 빠르고 정확한 답변을 요구한다. 구글은 사용자의 의도를 파악하고 정확한 정보를 제공하기 위한 일에 집중하고 진화하고 있다.

 

따라서 콘텐츠는 검색엔진이 아니라 사람을 위해, 사용자를 위해 만들어져야한다. 최신 구글 알고리즘 업데이트를 통해 이제 검색엔진은 사용자와 같은 사람처럼 되어가고 있기 때문이다. 

---

인간과 컴퓨터가 상호 작용하는 방식은 점점 변화하고 있고 구글은 사용자에게 맞춘 플랫폼으로 지속적으로 발전하고 점점 똑똑해지고 있다. AI, 자동화 및 음성 검색 최적화 시대에 웹사이트 운영자는 더욱 현명하게 대응해야할 필요가 있다.

 

BERT는 사용자에게 최적의 검색 결과를 제공하기 위한 업데이트이다. 그리고 구글은 정확도와 정밀도를 높이기 위해 업데이트를 꾸준히 진행할 예정이다. 중요한 것은 본인의 웹사이트를 방문해서 검색 결과에 나온 내용을 보는 방문자 즉, 사용자에게 달려있다. 따라서 사용자를 위한 방향을 정하고 그 방향성을 잃지 않고 콘텐츠를 채워나간다면 좋은 결과를 얻을 수 있을 것이다.

 

---

[출처 및 참고]

Google BERT Explained: What It Means for Your Website