El actual palacio rococó originalmente estaba compuesto por tres edificios independientes con una fundación medieval.
La casa más cercana a la famosa Casa de Piedra Bell ya se menciona en la escritura en el 1363.Sin embargo, se demostró que existÃa el edificio románico aquà desde el siglo12.
En la planta baja se conserva los sótanos del antiguo palacio.
La parte norte del palacio tiene una base perteneciente al segundo tercio del siglo 13, como lo demuestra el suelo de piedra original en la bodega hoy en dia, incluyendo una de las primeras bóvedas de crucerÃa gótica.
Ambos edificios fueron vinculados en 1508 por Alberto de Kolovrat.
Más tarde, en el año 1750, la parte norte del edificio pasó a ser propiedad de Juan Ernesto Conde Golz. Él compró más tarde, en 1755,la parte Sur y unió las dos en un único edificio.
Esta unión fue entre el 1755 y el 1766 por el arquitecto Anselmo Lurag reconstruido según los planos del palacio rococó de KI Dienzenhofer con esculturas de Platzer.
En 1768 Francisco compró Oldrich Palacio Kinsky.
Recientemente, la familia Kinský trató sin éxito de volver al palacio.