В 1803 году Дубровицы перешли к графу Матвею Александровичу Дмитриеву-Мамонову. Это была очень незаурядная личность. В частности, в войну 1812 года он сформировал собственный полк, который так и назывался - 1-й конный казачий графа М. А. Дмитриева-Мамонова. Среди прочих в этом полку числился знаменитый поэт Петр Вяземский.
Правда, в скором времени после прибытия на фронт, полк был расформирован. Вяземский писал: "Граф всегда был тщеславен, а эти отличия перепитали гордость его. К тому же он никогда не готовился к военному делу и не имел способностей, потребных для командования полком. Пошли беспорядки и разные недоразумения. Еще до окончательного образования полка он дрался на поединке с одним из своих штаб-офицеров".
В 1814 году Дмитриев-Мамонов организовал в Дубровицах масонский Орден русских рыцарей. Впрочем, со временем в ордене начали преобладать идеи декабристов, и в результате он влился в известный Союз благоденствия.
Затем Дмитриев-Мамонов ссорится с московским генерал-губернатором Дмитрием Голицыным, а после 1825 года - и с царем Николаем. Его признают сумасшедшим, и над ним учреждают опеку.
Граф умер страшной смертью в 1863 году - на нем загорелась сорочка, щедро смоченная одеколоном. Он считается одним из прототипов толстовского Пьера Безухова.