Harem ile Salacak iskeleleri arasında bulunan bu saraydan günümüze hiçbir iz gelememiştir. İstanbul'un fethinden sonra yapılmış olan Eski Saray ve Topkapı Sarayı'ndan sonra Osmanlıların yapmış olduğu üçüncü büyük saraydır.
Üsküdar Sarayı XVI. Yüzyılda yapılmış, XVIII. Yüzyılın sonlarına doğru da ortadan kaldırılmıştır. Bu saray ile ilgili bilgiler arşiv belgeleri, gezginlerin notları ve birkaç gravürden öğrenilmektedir. Kavak Sarayı ile Üsküdar Sarayı'nın aynı saray olup olmadığı da zaman zaman tartışılmıştır. Büyük ihtimalle bu saray Kanuni Sultan Süleyman (1520-1566) döneminde yapıldığı sanılmaktadır. Arşiv belgelerinde Mimar Sinan'ın Sultan II. Selim (1566-1574) ve Sultan III. Murat'ın (1574-1595) burada birer köşk ve hamam yaptırdığı, Sultan I. Ahmet (1603-1617) döneminde de Kavak Sarayı'na bir mescit eklediği yazılıdır. Sultan IV. Murat (1623-1640) döneminde saray onarılmış ve buraya bazı ilaveler yapılmıştır. Yine arşiv belgelerinde tam teşkilatlı bir Osmanlı Sarayı olduğu da belirtilmiştir.
Sultan III. Selim (1789-1807) burada bir Bostancıbaşı kışlası yaptırmış, 1794 yılında da bu saray yıkılmış, içerisindeki bazı mermerler Topkapı Sarayı'na götürülmüş, bazıları da Selimiye Kışlası'nın yapımında kullanılmıştır. Bundan sonra Kavak Sarayı'nın arazisinin büyük bir kısmına çeşitli askeri yapılar yapılmıştır. Osmanlıların bu sarayı yazlık olarak kullandıkları sanılmaktadır. Bunun yanı sıra Doğu'ya sefer düzenlendiğinde de bu sarayın başlangıç noktası olduğu sanılmaktadır
