Wieś Grabonóg w XI wieku składała się z królewskiego grodu i towarzyszącej mu osady. W XV wieku ówcześni właściciele, Górkowie, przebudowali gród na mały zamek, który przetrwał do połowy XVIII wieku. Po jego rozbiórce w 1749 r. powstała nowa siedziba właścicieli dóbr.

Pałac wzniesiony przez Walentego Bojanowskiego w roku 1820, być może na miejscu dawnej oficyny.

W 1868 r. Grabonóg kupił Apolinary Lossow z Gryżyny koło Kościana, który rozbudował dwór. Dwór Losowa to piętrowy, klasycystyczny budynek z centralnym ryzalitem zwieńczonym schodkowym szczytem. Na wysokości piętra znajduje się duży balkon z kamienną balustradą.

W początkach XX wieku dobudowano parterowe skrzydło podwyższone później o dodatkową kondygnację. Przebudowę nadzorował architekt Marian Andrzejewski.

W ostatnim czasie pałac został wyremontowany i kolorystycznie nawiązuje do pierwotnego stanu.