Klasycystyczny pałac w Rybienku Starym nad Bugiem wybudowano w 1780 roku dla inflanckiego biskupa, Jana Stefana Giedroycia. Budynek jest murowany z cegły na planie wydłużonego prostokąta, otynkowany o regularnej bryle. Całość jest podpiwniczona oraz posiada piętro wraz z poddaszem mieszkalnym.
W 1831 roku znajdował się w posiadaniu Augusta Morzkowskiego. Natomiast w okresie od 1879 roku do 1945 roku właścicielami pałacu w Rybienku Starym była rodzina Skarżyńskich. Pałac ten na początku XX wieku uległ przebudowie. W trakcie prac dobudowano taras z istniejącego już ganku, w pałacu zainstalowano system kanalizacyjny, a na piętrze zaprojektowano łazienkę.
Rezydencję odrestaurowano po zakończeniu wojny z 1920 roku. Wówczas urządzono wewnątrz pensjonat, który gościł Tadeusza Kotarbińskiego, Wojciecha Kossaka oraz Aleksandra Zelwerowicza. Podczas II wojny światowej, we wrześniu 1939 roku, spłonęło poddasze pałacu. W 1945 roku przeszedł on na własność Ministerstwa Zdrowia, które zaadaptowało jego wnętrza na dziecięce sanatorium. W 1989 roku kolejnym właścicielem pałacu w Rybienku Starym zostało Stowarzyszenie Architektów Polskich. Aktualnie, budynek jest własnością prywatną.
Wewnątrz zachowały się polichromie Jana Bogumiła Plerscha, które zostały poddane konserwacji w 1953 roku, kominki piaskowcowe, dekoracje stiukowe, piec z barwnych herbowych kafli wykonanych w Nieborowie w 1880 roku. Wnętrze nawiązuje do klasycyzmu. Do pałacu należą również przylegające dwie oficyny oraz pałacowa stróżówka pochodząca z połowy XIX wieku w stylu neogotyckim. Całość otacza piękny park krajobrazowy, który urządzono w oparciu o naturalne ukształtowanie terenu.
