Doles muiža izveidojusies 1631. gadā, un tās pirmais īpašnieks bija zviedru armijas pulkvedis Nikolauss Dītrihs Šperreiters (Sperreuter). No Doles muižas pirmsākumiem ir saglabājusies tā dēvētā pārvaldnieka māja – askētiska divstāvu mūra ēka ar stāvu kārniņu jumtu (tagad privātīpašums). Pārvaldnieka mājas vieta ir iezīmēta senākajā Doles muižas kartē (1698.g.), tātad iespējams, ka tā celta 17. gadsimta II pusē un sākotnēji kalpojusi par muižas īpašnieka dzīvojamo namu jeb kungu māju.

​

Tās arhitektūra veidota 19./20. gadsimta mijā valdošā eklektisma formās, izmantojot vienu no savulaik populārākajiem eklektikas stilistiskajiem virzieniem – tā dēvēto „ķieģeļu stilu”. Ķieģeļu stila ēkām parasti ir atturīgs dekoratīvais noformējums, to māksliniecisko izteiksmi veido būvmasu kārtojuma plastika un celtniecības materiālam raksturīgā faktūra. Doles muižas fasādē redzami gan klasicismam, gan neoromānikai raksturīgie arhitektoniskie motīvi (nelieli trijstūra veida frontoni ar apaļām nišām, izteikts cokols un profilētas dzegas, pusloka formas logu ailas ēkas tornī). Atšķirībā no citām ķieģeļu stila ēkām, Doles muižas kungu mājas fasādi 20. gadsimta sākumā sedza polihroms krāsojums, kas tika atjaunots 2005. gadā.

Doles muižu neskāra 1905. gada piļu dedzināšanas posts, arī I un II pasaules karu ēka pārcieta ar minimāliem zaudējumiem. Pēc agrārās reformas 1920. gadu sākumā Doles muižas kungu mājā ierīkoja pamatskolu. Padomju laikā šeit atradās zvejnieku kolhoza klubs. Ēkas izmantošanas rezultātā līdz 1977. gadam, kad pēc celtnes kapitālā remonta šeit atklāja tagadējo Daugavas muzeju, no kungu mājas vēsturiskā interjera tikpat kā nekas nebija saglabājies, izņemot autentiskās koka kāpnes uz otro stāvu un metāla vītņu kāpnes ēkas tornī.