Landskapet kring Ymsen är bergigt, skogit men också bördigt med en rad stora gårdar som har anor från både medeltid och stormaktstid. Vid sjöns nordvästra del på en höjd som stupar brant åt flera sidor ligger Ymseborgs ruin. Överst på platån finns idag rester av ett fyrsidigt försvarstorn med cirka tio meters sida och med murar av gråsten.

Borgen är starkt förknippad med Folkungaätten, vid 1200-talets mitt ägdes stormansborgen av Filip Folkunge. Ett flertal bittra strider har utkämpas vid Ymseborg. År 1278 var borgen centrum för ett allvarligt uppror mot kung Magnus Ladulås. Det var hit kungens svärfar, greve Gerhard av Holstein, fördes efter att ha fängslats i Skara.