Saray, Üsküdar Has Bahçesi'nin içindeki saraylar ve köşkler topluluğundan sadece biri idi.Üsküdar Sarayı, Küçük İhsaniye'de ve İhsaniye İskelesi Sokağı boyunca uzanıyordu. Sarayın önündeki dik yamaçlar sahile kadar inmektedir. Harem İskelesinden başlayan bu dik yalı yarlar hiç geçit vermeden Salacak'a kadar devam eder. Üsküdar Sarayının önüne, denize ulaşmak için, taş merdivenli bir yol yapılmıştır. Bir tarafında harpuştalı bir taş korkuluğu olan bu yolu bugün de görmek mümkündür. Yakın tarihe kadar, Şirketi Hayriye'nin vapurları, bu yolun önündeki iskeleye uğrardı. Halk arasında Çifte Kayalar diye bilinen bu yer, sonradan Atatürk'ün emriyle Halk Plajı haline getirilmiştir. Üsküdar Sarayının önündeki bu taş yolu, eski resimlerde de görmekteyiz. Bu yol, sarayın yerini belirtmek bakımından çok önemlidir. Çünkü, böyle bir yol Haydarpaşa, Selimiye Kışlası'nın üzerinde bulunduğu Şekerci Burnu ve Harem sahillerinde yoktur. Üsküdar Sarayı'nın bugünkü Selimiye Kışlası'nın bulunduğu yerde yapıldığı ve Üsküdar Sarayı ismi ile anıldığı, 998 (1581) tarihinde yazılan Şemailname adlı eserde görülmektedir. Bu eserdeki İstanbul krokisinde "Üsküdar Sarayı"nın yeri açıkça görülmektedir. Krokiye göre saray, Selimiye Kışlası'nın yerindedir. Bu arada, Üsküdar sahillerindeki yalılar da görülmekte ve ayrıca sonradan "Üsküdar Sarayı" adını alan İhsaniye'deki yapılar topluluğu da müşahade edilmektedir. Üsküdar Sarayı'nın yakınında Kavak adını taşı yan bir gümrük iskelesinin kurulması ile bu muhteşem yapı Kavak Sarayı ismini almıştır. Fakat zaman zaman Üsküdar Sarayı ismiyle de anıldığı olmuştur.