Hrad nad dedinou dostal pomenovanie podľa farby kameňa, z ktorého bol postavený.
Zrúcanina hradu Sivý Kameň sa nachádza nad obcou Podhradie, neďaleko Prievidze. Výstup na hrad patrí medzi tie najkratšie, trvá 5 – 10 min.. Z hradu sa veľa na obdiv nezachovalo, no z hradného vrchu je krásny výhľad.
Hrad Sivý Kameň bol postavený ako kráľovský hrad.
Hrad Sivý Kameň bol postavený krátko pred rokom 1350 ako kráľovský hrad. V listine z roku 1352 sa uvádza, že správou hradu bol poverený bán Gilet a jeho synovia, ktorí užívali titul „castellany de Bajmocz et Kesseloko“ a spravovali obidve hradné panstvá. Hrad patril neskôr rôznym rodom, v roku 1430 sa vrátil späť do vlastníctva kráľa. V roku 1431 kráľ daroval hrad Sivý Kameň Gregorovi Majthényimu a jeho dedičom. Od toho času zostal hrad i panstvo v trvalej držbe rodiny Majthényiovcov. V roku 1626 povstalci Gabriela Bethlena napadli hrad aj ostatné majetky Majthényiovcov a všetko vyplienili. Hrad stratil na svojom význame. Ešte začiatkom 18. storočia hrad dobili Rákocziho vojaci, následne nastal úplný úpadok hradu. Z hradu sa stala ruina. Pozostatky hradu postupne rozobrali obyvatelia Podhradia.
Zrúcanina hradu Sivý Kameň bola v roku 1973 vyhlásená za národnú kultúrnu pamiatku.
Zrúcanina hradu Sivý kameň sa nachádza na chránenom území prírodnej pamiatky Sivý kameň. Územie bolo vyhlásené v roku 1973 na rozlohe 13,8097 ha. Predmetom ochrany sa stalo vulkanické pohorie s výskytom chránených druhov rastlín a zvyšky stredovekého hradu, ktoré sú na andezitovom brale, nad obcou Podhradie neďaleko Prievidze. Z hradu je krásny výhľad na krajinu, ktorý zachytáva časť od Partizánskeho po Prievidzu. Od roku 2015 je hrad v starostlivosti občianskeho združenia, ktoré sa snaží zachrániť to, čo z toho mála zastalo. Bola obnovená časť veže, na ktorej je vybudovaná vyhliadka.
O hrade je známa aj jedna povesť.
Janček bol veliteľom vyslúžilcov a dezertérov, čo rabovali kraj. Ako skúsený vojak si so svojou skupinou trúfol aj na Sivý Kameň. Osadenstvo hrad ubránilo a zajali zopár útočníkov. Hradný pán ich prikázal popraviť. Jeho dcéru, krásnu Ulišu, tesne pred vykonaním rozsudku zaujal jeden z odsúdencov. Požiadala milosť pre Jančeka, keď v ňom spoznala chlapca, ktorý jej v detstve zachránil život pred tureckými vojakmi. Hradný pán mu napokon milosť udelil. Mladí milenci prežili vášnivú noc, no ráno už bol Janček preč. Uliša skočila na rýchleho tátoša a cválala za svojím milým. Videla ho na vysokej skale. Keď ju Janček zbadal, rozhodol sa jej ísť naproti z obavy, aby nespadla zo skaly. Pritom si neuvedomil, že sám je nad priepasťou, a zrútil sa. Uliša mu ostala verná až do smrti. Nikdy sa nevydala a skalu nazvala Jančekovou.
