Přestože existence panského sídla nebyla nikterak dlouhá, jeho osudy by vydaly na dlouhé vyprávění. Postavit jej nechal Archleb ze Stařechovic. Po něm na hradě sídlil jeho syn Erhard, který se už psal ze Skal. „Byl nejvyšším moravským sudím a jedním z nejbližších lidí markraběte Jošta. Erhard zemřel v roce 1415 a v té době měl dvě nezletilé dcery, jejichž poručnictvím pověřil Erharta Pušku z Kunštátu. Jeho manželka, která pocházela z Vildenbergu, hrad Skály i s dětmi opustila a Puška začal hrad spravovat tak, že do něho umístil svou loupežnou družinu,“ řekl Ludvík Belcredi.

Hradu takto začala druhá etapa, namísto panstva se v něm usídlila loupeživá horda Pušky z Kunštátu. „Členy družiny ze Skal známe velice dobře, dokonce jmenovitě, protože Václav IV., ve snaze zabránit loupeživým družinám v jejich činnosti, vydal dekret, ve kterém přislíbil, že kdo sepíše své členy a zanechá loupeživého způsobu života nebude nadále stíhán.

Na tento popud Puška z Kunštátu sice list sepsal, ale loupežení nezanechal, a tak se s nimi setkáváme znovu - v Jihlavských černých knihách, kde jsou sepsány výpovědi lupičů vyslýchaných v různých místech v záležitostech, které se nějakým způsobem týkaly Jihlavy,“ informoval Ludvík Belcredi.

Pak už nastala poslední fáze, kterou hrad procházel. Ta začala v roce 1419, kdy Puška z Kunštátu zemřel a zbytek jeho družiny přešel k husitům. „V roce 1439 se setkáváme na Skalách s husitským hejtmanem Janem z Brezan, který na hradě držel velice silnou posádku. Německý letopisec Gisler dokonce uvádí, že tu bylo na pět set husitů. Proto se zemská správa snažila s Janem z Brezan dohodnout. V roce 1439 byl pozván na jednání do Velkého Meziříčí, kam se ale nedostavil.

Podle nejnovějších historických dokladů, které máme k dispozici, probíhala následně s Janem z Brezan složitá vyjednávání vedená přes dalšího husitského hejtmana Kostku z Postupic, který se mezitím stal správcem Litomyšle. Jan se dostavil na jednání do Polné, kde s ním byla uzavřena dohoda, že za výkupné odstoupí hrad Skály,“ doplnil další část historické skládačky Ludvík Belcredi.

Hradní palác byl sice vyklizen, ale část husitské podsádky na hradě zůstala. „O hrad byl následně sveden těžký boj, což dokumentují desítky dělových koulí, které byly při archeologickém výzkumu nalezeny,“ dodal Ludvík Belcredi.