伏見奉行所が建設されたのは寛永元年（１６２４年）。３代将軍・徳川家光が豊臣家縁の伏見城を完全に破却し、富田信濃守の屋敷があったこの土地に建設されたそうです。伏見城跡地への入口と、港を監視する位置にあったそうです。
幕末も佳境の１８６８年、鳥羽・伏見の戦いでは旧幕府軍の本営として、会津藩や新選組などが陣取っておりました。この戦いで激しい砲火にさらされた伏見奉行所は炎上し、旧幕府軍は敗北を喫しました。
石碑の側面には「昭和四三年十一月 京都市」と刻まれております。
現在この辺りは桃陵団地になっております。