Z ostatních hradních budov zůstaly za poslední staletí jenom zbytky základového zdiva a také pozůstatky dvou hranolových věží. Ke zřícenině je možné se dostat například z obce Víckov, ze vsi Loučka vede cesta do strmého kopce.

Zmínky o hradě Víckově pocházejí už ze 13. století, kdy zde sídlil stejnojmenný starobylý rod mocných moravských pánů. Hrad postupem času měnil majitele, v 15. století se Víckova pravděpodobně zmocnili husité, kteří jej poškodili.

Ve 30. letech 15. století postoupil další majitel hradu, Jan z Pernštejna, Víckov s vesnicemi, které k němu tehdy připadaly, Janu Vojnovi mladšímu z Litavy. Po vymření rodu se panství dostalo od krále Matyáše Korvína přes dalšího majitele až k Vilému z Pernštejna.