本期分享由南洋理工出品的視頻修改工具 ProPainter,它的功能包括去除水印,視頻對象刪除,視頻外畫,以及視頻完成等
ProPainter 使用非常簡單,用戶只需將需要處理的視頻導入工具中,然後點擊相應的功能按鈕即可實現一鍵移除移動物體或水印。工具會自動分析視頻的每一幀,並根據物體的運動軌跡或水印的位置進行準確的識別和刪除。
這個工具的移除視頻內移動物體的功能可以幫助用戶輕鬆去除視頻中的人物、車輛等移動物體,使畫面更加乾淨和專注。另外,ProPainter 還能一鍵移除視頻水印,無論是因為版權保護還是其他原因導致的水印,用戶只需選擇相應的功能,工具會自動檢測並刪除視頻中的水印,使得視頻更加原汁原味。
ProPainter 的簡單操作和高效識別能力使得視頻編輯變得更加方便和高效,無論是個人用戶還是專業視頻編輯人員,都能從 ProPainter 中獲得極大的便利和效益。
ProPainter 功能包括:
1. 對象刪除:從視頻中刪除對象。
2. 去除水印:從視頻中去除水印。
3. 視頻完成:完成蒙版視頻。
4. 視頻外畫:擴展視頻的視圖。
ProPainter 包含三個關鍵組件:循環流完成、雙域傳播和掩模引導稀疏 Transformer。首先,我們採用高效的循環流完成網絡來完成損壞的流場。然後,我們在聯合訓練的圖像域和特徵域中執行傳播。這種方法使我們能夠探索全局和局部時間框架的對應關係,從而產生更可靠和有效的傳播。隨後的掩模引導稀疏 Transformer 塊使用時空注意力細化傳播的特徵,並輔以僅考慮令牌子集的稀疏策略。這可以提高效率並減少內存消耗,同時保持性能。
目前工具代碼和模型已公開
感興趣的朋友,可以自己去試試。