De naam ‘Ter Horst’ is afgeleid van de plaats waar kasteel Ter Horst werd gebouwd. Het ligt op een verhoging die vroeger ‘horst’ werd genoemd. Rond 1557 werd de eerste steen van het kasteel gelegd. De Arnhemse burgemeester, Wijnand Hackfort (1522-1563) liet er zijn zomer- en jachtverblijf bouwen. Zeven generaties lang bleef kasteel Ter Horst eigendom van de adellijke familie Hackfort.
Uniek aan dit Gelderse kasteel is het feit dat het nog steeds bewoond wordt. De huidige eigenaar, Alexander Russelman, woont er vanaf zijn geboorte. Hij zet zich met veel plezier en passie in voor het kasteel en landgoed. Hij is eigenaar van de houthandel (Hard- en Zachthout) die ook op het landgoed is gevestigd. In de vroegere eetkamer is zijn kantoor. Alexander woont op de eerste verdieping.
De Arnhemse burgemeester Hackfort noemde het kasteel zijn ‘Lagchend Huys’. Meer dan 300 jaar bleef kasteel Ter Horst eigendom van de adellijke familie Hackfort. Het diende in deze periode voornamelijk als woonhuis. Vóór 1557 schijnt het kasteel al te hebben bestaan, zij het in een andere constructie. Hiervan is niet veel bekend. De kelders hebben vloeren met stenen die dateren uit 1300.
In 1906 werd het kasteel verkocht en in de jaren daarna wisselde het een aantal keren van eigenaar. Na vier jaar te hebben leeg gestaan werd het huis in 1933 gekocht door Hendrik Russelman. Hij was eigenaar van een houthandel in Zaandam en zijn voornaamste reden voor de koop was de mogelijkheid om hout in stromend water te leggen voor het zogenoemde ‘wateren’. Tot op vandaag wordt deze methode gebruikt voor iepenhout. Het ‘gewaterd iepen’ wordt verkocht door de houthandel op het landgoed van kasteel Ter Horst.
Tijdens de 2e wereldoorlog werd het kasteel geconfisqueerd door de Duitse bezetters. Het was de ideale plek voor een communicatiecentrum doordat er bovenop het kasteel zendmasten geplaatst konden worden. De voorste woonkamer werd ingericht als ziekenboeg voor de gewonde Duitse soldaten. De familie Russelman werd verbannen naar de kelders. De oorlog bracht aanzienlijke schade aan het kasteel. Gelukkig is het meeste daarvan weer gerestaureerd.