馮遷字羽化，其父馮漳曾任州從事。
後來馮遷官運亨通，追贈馮漳為儀同三司、陝州刺史。
馮遷少年時注意操行，為人謹慎，有辦事才能，被授為州從事。
魏神龜年間，刺史楊鈞推薦他任中兵參軍事，轉為定襄令，不久任并州水曹參軍。
他歷任各種職務，都以勤勉謹慎而受到稱揚。
等到魏孝武帝向西遷移，馮遷就棄去官職，與直閣將軍馮靈豫進入函谷關。
跟隨魏孝武帝收復潼關，平定回洛，授官給事中。
後來隨從太祖活捉竇泰，收復弘農，戰於沙苑，都立有戰功，被任命為都督、龍驤將軍、羽林監，封獨顯縣伯，食邑六百戶。
在洛陽之戰中，馮遷率先登城攻入敵陣，身受重傷，僥倖得以不死。
以功加授輔國將軍、軍師都督，晉封侯爵。
又過了很久，出任廣漢郡守。
當時蜀地剛剛平定，人心不安，馮遷治理時偏重簡要寬恕，百姓生活得以安寧。
魏恭帝二年(555)，加授車騎將軍、大都督、通直散騎常侍，鎮守樊城。
不久又被任命為漢東郡守。
孝閔帝登基後，馮遷任晉公宇文護府掾，加授車騎大將軍、儀同三司，晉封臨高縣公。
不久又升為宇文護府司隸，授驃騎大將軍、開府儀同三司。
馮遷性格質樸，小心謹慎，雖然身據權要，而從不拿官職壓人。
又加上他明白幹練，善於判斷。
每次校閱文書，都是孜孜不倦，從早到晚，不肯休息，因此很得宇文護的重用。
後來因為他是朝中元老，想使他更加榮耀，就任命他為陝州刺史，晉封隆山郡公，食邑增至二千戶。
馮遷本來出身寒微，不被當時人所看重，一旦出任本州刺史，只以謙虛恭敬的態度對待別人，沒有人怨恨他。
又入朝任司隸，轉官工部中大夫，任軍司馬，升小司空。
自天和年間以後，馮遷由於年紀漸老，逐漸不受重用。
宇文護被誅滅以後，馮遷被罷官，並取消爵位。
建德末年，在家中去世，享年七十八歲。
兒子馮恕，官至儀同三司、伏夷鎮將，封平寇縣伯。
宇文護所信任的，還有朔方人邊平，官至大將軍、軍司馬、宇文護府司馬。
宇文護敗亡，邊平也被罷官。