光流法是視覺領域中物體運動檢測的概念,用於描述運動引起的觀察目標、表面或邊緣的運動,主要應用於計算機視覺和圖像處理。
利用光流法,可以找到不同幀之間的關系,通過在不同幀之間傳播信息來完成視頻。
FGVC主要包括三個步驟:流完成、時間傳播和融合。
流完成:在具體操作中,需要計算相鄰幀之間的前向光流和反向光流,以及壹組非本地幀的前向光流和反向光流。
時間傳播:根據光流的軌跡,為每個缺失像素找到壹組候選像素,為每個候選幀估計壹個置信度得分和壹個二進制有效性指數。
融合:通過使用置信度加權平均,將每個缺失像素的候選像素與至少壹個有效的候選像素融合。對於沒有候選像素的情況,使用關鍵幀,並且用單個圖像完成技術填充該關鍵幀。
更具體的原理,比如邊導光流補充,可以“啃下來”研究。
紙張地址:
https://arxiv.org/abs/2009.0183