Na sever od vimperského zámku stojí na nevýrazné vyvýšenině samostatné opevnění, jakýsi zmenšený hrad nebo hrádek. Říká se mu Haselburg a jedná se o předsunutou dělostřeleckou baštu, která měla v době sílícího významu dělostřelectva kompenzovat nepříznivou polohu vlastního hradu; náhorní planina v těch místech totiž převyšovala hrad a mohla se stát ideální pozicí pro děla případného obléhatele. Vznikla kolem roku 1479, kdy byla propojena opevnění hradu a města a kdy se komplexně řešila obrana Vimperka jako celku.
Bašta byla původně obehnána vyzděným příkopem a opevněna dvojími hradbami. Protáhlý podkovovitý objekt má masivní obvodovou hradbu, na nejohroženější obloukovité straně ještě zesílenou. Do této hradby je na vstupní straně vestavěna mohutná okrouhlá věž s křížově sklenutým interiérem. Nad přízemím stávala ještě dvě patra, z nichž to druhé sloužilo obývání.
Nad vstupní bránou spatří příchozí kamennou desku s erbem Kaplířů ze Sulevic a letopočtem 1479.
V roce 1729 byl vydán rozkaz, aby se starý zámeček Haselburg zboural, neboť se již zachovati nedá a nijak na něm nezáleží. Získané stavivo se mělo použít k opravám zámku. Rozkaz však naštěstí nebyl proveden. Zachránila se tak jediná přesně datovaná předsunutá dělostřelecká bašta v Čechách.
Dnes je Haselburg, poetická středověká stavba obklopená malebnou skupinou domků, v soukromém vlastnictví a veřejnosti nepřístupná.