1557
Omstreeks 1557 liet Arnhems burgemeester Wijnand Hackfort (1522-1563), zijn zomer- en jachtverblijf bouwen. Hij noemde dit zijn Lagchend Huys. Meer dan 300 jaar bleef Kasteel Ter Horst eigendom van de adellijke familie Hackfort. Het diende in deze periode voornamelijk als woonhuis. Vóór 1557 schijnt het kasteel al te hebben bestaan, zij het in een andere constructie. Hiervan is niet veel bekend. De kelders hebben vloeren met stenen die dateren uit 1300.
Crisisjaren 30
Na jaren van leegstand kocht de heer Hendrik Russelman in 1933 het inmiddels vervallen kasteel en landgoed. Hij was eigenaar van een houthandel in Zaandam en zijn voornaamste reden voor de koop was omdat hij hier het hout in stromend water kon leggen voor het zogenoemde wateren.
2e Wereldoorlog
Tijdens de 2e wereldoorlog werd het kasteel geconfisqueerd door de Duitse bezetters. Het was de ideale plek voor een communicatiecentrum doordat er bovenop het kasteel zendmasten geplaatst konden worden. De voorste woonkamer werd ingericht als ziekenboeg voor de gewonde Duitse soldaten. De familie Russelman werd verbannen naar de kelders.
21e Eeuw
Tegenwoordig wordt het kasteel als woonhuis gebruikt. In de oorspronkelijke ontvangstkamer op de begane grond bevindt zich tegenwoordig de Trouwzaal waar sinds 1998 huwelijken worden voltrokken. In de vroegere eetkamer is het huidige kantoor van de Houthandel Hard- en Zachthout Import Mij. BV. gevestigd.
