[R-BERT] 논문 과 실험 결과

[coderJoon]

R-BERT

논문 정리

• Abstract

  We locate the target entities and transfer the information through the pre-trained architecture and incorporate the corresponding encoding of the two entities.

  ⇒ target entity 의 정보를 전달해주고, entity 들의 상응하는 encoding 을 합쳐서 사용한다.

• Introduction

  We insert special tokens before and after the target entities before feeding the text
  to BERT for fine-tuning, in order to identify the locations of the two target entities and transfer the information into the BERT model.

  We then locate the positions of the two target entities in the output embedding from BERT model. We use their embeddings as well as the sentence encoding (embedding of the special first token in the setting of BERT) as the input to a multi-layer neural network for classification.

  By this way, it captures both the semantics of the sentence and the two target entities to better fit the relation classification task.

  1. special token (논문에서는 $ 와 # 사용)을 사용해서 target entity 의 위치를 확인 하게 하고 BERT model에 정보를 전달해준다.

  2. target entity 의 output embedding 을 사용한다.

• Method

⇒ “[CLS] $ 이순신 $은 조선 중기의 #무신#이다.” 와 같이 문장 구조를 바꾸었다.
  
> *Given a sentence s with entity e1 and e2, suppose its final hidden state output from BERT module is H. **Suppose vectors H_i to H_j are the final hidden state vectors from BERT for entity e1**, and **H_k to H_m are the final hidden state vectors from BERT for entity e2.** We **apply the average operation to get a vector representation for each of the two target entities.** Then after an activation operation (i.e. tanh), we add a fully connected layer to each of the two vectors, and the output for e1 and e2 are H’_1 and H’_2 respectively.*
> 

 1. H_i ~ H_j 는 Last Hidden State 에서 entity_1 에 해당하는 hidden vectors 이다.
2. H_k ~ H_m 은 Last Hidden State 에서 entity_2 에 해당하는 hidden vectors 이다.
3. 이 Hidden states 들에 대해 average operation 을 통해서 새롭게 표현된 vectors 를 얻는다.

> *Matrices **W0, W1, W2 have the same dimensions,**
i.e. W0 ∈ R^d×d , W1 ∈ R^d×d, W2 ∈ R^d×d, where **d is the hidden state size from BERT.***
> 
1. 위 수식에서의 W matrix 들은 모두 같은 차원을 가진다.
2. d x d 차원을 가질때, d 는 BERT 의 hidden_size 를 의미한다.
4. W1,W2 는 같은 matrix 이다.



> *We **concatenate H’_0, H’_1 , H’_2** and then **add a fully connected layer** and a softmax layer.*
> 

• Parameter Settings

• Effect of Model Components

  We further want to understand the specific contributions by the components besides the pre-trained BERT component.

  1. The first configuration is to discard the special separate tokens (i.e. ‘$’ and ‘#’) around the two entities in the sentence and discard the hidden vector output of the two entities from concatenating with the hidden vector output of the sentence.
  2. The second configuration is to discard the special separate tokens (i.e. ‘$’ and ‘#’) around the two entities in the sentence, but keep the hidden vector output of the two entities in concatenation for classification.
  3. The third configuration is to discard the hidden vector output of the two entities from concatenation for classification, but keep the special separate tokens.

  ⇒ 구성 요소의 특정 기여도를 이해하기 위해 3가지 실험을 더 진행하였다.

  1. entity token 들을 버려서 문장의 hidden state 와 entity 의 hidden state 가 연결되지 않게 막았다.
  2. entity token 들을 버리지만, 벡터의 출력을 연결은 시켜둔다.
  3. 벡터 출력을 연결 시키지 않지만, entity token 을 버리지 않는다.
  4. 위 3가지 실험과 비교해서 R_BERT 성능이 가장 좋았다.

  In relation classification, the relation label is dependent on both the semantics of the sentence and the two target entities. BERT without special separate tokens cannot locate the target entities and lose this key information. The reason why the special separate tokens help to improve the accuracy is that they identify the locations of the two target entities and transfer the information into the BERT model, which make the BERT output contain the location information of the two entities. On the other hand, incorporating the output of the target entity vectors further enriches the information and helps to make more accurate prediction.

  1. 관계 label 은 결국 문장의 의미체계 와 target entity와 모두 관련이 있다.
  2. entity token 은 target entity 가 어디에 위치하는지 더 잘 확인하게 해준다. 게다가 output 에 위치 정보를 담고 있게 된다.
  3. 그렇게 함으로써, entity vectors 는 더 풍부한 정보를 담고 , 더 정확한 예측을 하게 해준다.

[papari1123]

논문에서 기여한 주요 정보를 잘 요약해서 올린 듯.
나중에 직접 적용한 결과까지 올리면 좋을 듯합니다~