本文的目的是生成可控的、高覆蓋率的復述樣本。基於機器翻譯中預排序的思想，作者構建了壹個兩層seq2seq解釋生成架構。第壹層，SOW層，首先生成源句的各種可能的排序(有意義，雖然枚舉，但是按照語法邏輯過濾)，生成源句的位置嵌入。第二層，REAP層，結合SOW提出的位置嵌入生成解釋。
最後壹節介紹了SOW-REAP生成解釋的目的和思想，以及兩個獨立的子模塊如何生成所需的信息並協同工作。在本節中，我們將繼續介紹重新排序的三個步驟的細節以及如何訓練播種收獲。
重排的三個步驟通過遞歸語法樹的各個層次來實現，並使用seq2seq生成重排候選序列。那麽它到底是如何工作的呢？同時，在有了重排序結果後，SOW如何得到最終的重排序集合，SOW和REAP兩層模型的優勢是如何訓練出來的？
首先，讓我們回顧壹下重新排序的總體框架。
第壹步:選擇語法片段時，先從語法樹中選擇壹級，比如圖中的級S0(根節點級)，抽象出兩個成分A=S和B=VP2(保留其他源句的內容)，得到要替換的元組S0，S，VP2。
第二步，生成reorders時，作者使用上壹步得到的元組得到抽象句(例如IfSIwillVP)。然後，使用SOW(seq2seq)模型，將抽象出的句子作為輸入，生成重新排序的句子。最後用詞向量的余弦距離進行對齊(即生成的句子詞不在原句中，所以用源句中的詞替換)。
值得註意的是，重排句子的對數概率被保存為重排分數。
第三步，在合並排序結果時，作者遞歸地對每個子語法樹進行重新排序，每個子語法樹得到top-k個重新排序的結果，這些結果遞歸地返回到葉子層得到重新排序的句子，每層重新排序得分的平均值作為最終的重新排序得分。
SOW模型也是seq2seq的壹個模型，它使用重新排序後對齊的句子元組(例如If S I will VP，I will VP if S)進行訓練，期望在預測時可以生成傳入。
SOW可以正式定義為，這裏是作者定義的壹個開關變量，用來表示是保持源句中抽象出的短語(本例中為S和VP)的順序(單調)還是翻轉。具體例子請參考論文。在預測時，生成包括協調和順序保持的兩個重排結果。
REAP模型需要三元組輸入，但通常只需要在語料庫中構建即可。在訓練樣本中，作者使用源句子的詞向量和目標句子的詞向量的余弦相似度來對齊它們。具體方法是先得到源句和目標句的向量表示[1]，然後根據語法樹[2]逐層對齊，最後得到。
訓練SOW模型需要短語級別的對齊元組。作者遵循[3]中的方法來計算源句子和目標句子之間短語級別的對齊分數。將這些與短語對齊後，得到壹些與短語壹壹映射的對齊樣本(也就是說，有些詞不理解，只交換壹壹映射的例子，如下圖所示)，這些語料庫可以用來監督訓練SOW。
當作者生成重新排序的源句子時，他使用控制開關來精細地控制重新排序的順序。個人感覺是壹個很巧妙的設計，可以用來得到不同程度重排的句子，保證多樣性。
雅各布·德夫林、張明蔚、肯頓·李和克裏斯蒂娜·圖塔諾娃。2019.伯特:語言理解深度雙向轉換器的預訓練。計算語言學協會北美分會2065438+ 09會議論文集:人類語言技術，第65438+ 0卷(長論文和短論文)，第4171–4186頁。
[2]尤裏·勒納和斯拉夫·彼得羅夫。2013.機器翻譯的源端分類器預排序。在2013自然語言處理經驗方法會議錄中，第513–523頁。
[3]張天翼、瓦爾沙·基肖爾、費利克斯·吳、基利安·q·溫伯格和約夫·阿奇。2020.BERTScore:用BERT評估文本生成。國際學習代表會議。