本文的目的是生成可控的、覆蓋率更高的復述樣本。基於機器翻譯中的預排序思想，作者構建了壹個兩層seq2seq解釋生成架構。第壹層，SOW層，首先生成源句的各種可能的排序（有意義，雖然枚舉，但根據語法邏輯過濾），並生成源句的位置嵌入。第二層REAP層結合SOW提出的位置嵌入來生成解釋。
最後壹節介紹了SOW-REAP生成解釋的目的和思想，以及兩個獨立的子模塊如何生成所需的信息並協同工作。在本節中，我們將繼續介紹重新排序的三個步驟的細節以及如何訓練播種-收獲。
重排的三個步驟通過遞歸語法樹的所有級別實現，並使用seq2seq生成重排候選序列。那麽它是如何工作的呢？同時，在擁有重排序結果後，SOW如何得到最終的重排序集合，SOW和REAP兩層模型的優勢是如何訓練的？
首先，讓我們回顧壹下重新排序的總體框架。
第壹步:選擇語法片段時，首先從語法樹中選擇壹個級別，例如圖中的級別S0（根節點級別），並抽象出兩個組件A=S和B=VP2（保留其他源句子的內容）以獲得要替換的元組S0，S，VP2。
在第二步中，當生成reorders時，作者使用上壹步中獲得的元組來獲得抽象句子（例如，IfSIwillVP）。然後，使用SOW（seq 2 seq）模型，將抽象的句子作為輸入生成重新排序的句子。最後，使用單詞向量的余弦距離進行對齊（即生成的句子單詞不在原句中，因此用源句中的單詞替換它們）。
值得註意的是，重排句子的對數概率被保存為重排分數。
步驟3，在合並排序結果時，作者對每個子語法樹進行遞歸重新排序，每個子語法樹得到top-k個重新排序的結果，這些結果遞歸返回到葉子層得到重新排序的句子，每層重新排序得分的平均值作為最終的重新排序得分。
SOW模型也是seq2seq的模型，它使用重新排序後的對齊句子元組（例如，If S I will VP和I will VP if S）進行訓練，期望在預測過程中可以生成傳入。
SOW可以正式定義為，這裏是作者定義的壹個開關變量，用於指示是保持源句中抽象短語（在本例中為S和VP）的順序（單調）還是翻轉。具體例子請參考論文。在預測時，生成包括協調和順序保持的兩個重排結果。
REAP模型需要三元組輸入，但通常只需要在語料庫中構建。在訓練樣本中，作者使用源句子的詞向量和目標句子的詞向量的余弦相似度來對齊它們。具體方法是先得到源句和目標句的向量表示【1】，然後根據語法樹【2】逐層對齊，最後得到。
訓練SOW模型需要短語級別的對齊元組。作者按照【3】中的方法計算源句子和目標句子之間短語級別的對齊分數。將這些與短語對齊後，會獲得壹些與短語壹壹映射的對齊樣本（也就是說，有些單詞沒有理解，但映射示例會逐壹交換，如下圖所示），這些語料庫可用於監督訓練SOW。
當作者生成重新排序的源句子時，他使用控制開關來精細地控制重新排序的順序。個人感覺是壹個非常巧妙的設計，可以用來得到不同程度重排的句子，並保證多樣性。
雅各布·德夫林、張明蔚、肯頓·李和克裏斯蒂娜·圖塔諾娃。2019.BERT:用於語言理解的深度雙向轉換器的預訓練。計算語言學協會北美分會2065438+ 09會議論文集:人類語言技術，第65438+ 0卷（長論文和短論文），第4171–4186頁。
【2】烏裏勒納和斯拉夫彼得羅夫。2013.機器翻譯的源端分類器預排序。在2013自然語言處理經驗方法會議錄中，第513–523頁。
【3】張天翼、瓦爾沙·基肖爾、菲利克斯·吳、基利安·q·溫伯格和約夫·阿奇。2020.BERTScore:用BERT評估文本生成。在國際學習代表會議上。