Terdapat beberapa legenda yang dikaitkan dengan istana abad ke-14 ini, dan ia mempunyai reputasi berhantu. Ia mempunyai 2 hantu wanita yang terkenal iaitu White Lady dan Blue Lady. Menurut legendaWhite Lady adalah roh kepada Margaret Pomeroy, yang mati kebuluran semasa dipenjarakan di penjara oleh kakak yang cemburu dengan dia. Rupa-rupanya dia menghantui penjara gelap, dan naik dari Menara St Margaret dinding istana.
Menurut sesetengah orang hantu dari orang-orang yang terbunuh semasa perang menghantui tempat ini. Ada yang mengatakan pesakit yang meninggal dunia di sini walaupun mempunyai harapan untuk hidup bertukar menjadi hantu. Mendengar pintu dihempas ke dinding, tingkap, clattering hidangan dan mendengar suara menjerit pada waktu malamyang diceritakan oleh rakyat.
Istana indah ini adalah biasanya dari zaman pertengahan, bertenggek di atas karang berbatu, memberikan pemandangan yang menakjubkan dari bukit Scotland. Tetapi di dalam dewan kosong dan jalan-jalan sempit Edinburgh, terdapat gema kedengaran. Sekurang-kurangnya, itulah apa yang telah dilaporkan oleh penduduk sekitar. Hot spots untuk specters termasuk sel-sel penjara istana, dalam peti besi Jambatan Selatan dan Close Raja Mary, jalan disused digunakan untuk mangsa kuarantin dan akhirnya memakamkan wabak itu. Terdapat juga laporan anjing hantu, dan mayat banduan yang diambil semasa perang Perancis tujuh tahun dan Perang Kemerdekaan Amerika.