Возведение главного собора Каргополя относится к царствованию Ивана Грозного. Собор должен был символизировать богатство и величие торгового города. Место для него выбрано прекрасное: на берегу раздольной Онеги, на центральной площади, которая так и называлась Соборная, или Торговая (теперь Советская). Древняя часть собора отражает характерные черты русского каменного зодчества XVI века — монументальность, простоту и выразительность. Массивный белокаменный кубический объем на высоком лодклете завершается мощным пятиглавием. Глубокие оконные проемы, ничем не декорированные, выявляют толщину стен. С восточной стороны на две трети высоты собора поднимаются апсиды.

Во второй половине XVII века к собору были пристроены два придела, галерея и крыльцо. А в 1778 году собор был укреплен мощными контрфорсами, сложенными из бутового камня и обшитыми досками. В нижней части собора — подклете — размещалась зимняя, «степлая» церковь. В верхнем храме, светлом и просторном, служба шла лишь летом. Пятиярусный резной позолоченный иконостас относится к XVIII веку. Необычен кронштейн в центральном куполе: гигантская рука, держащая цепь с паникадилом.

Сейчас в соборе Рождества Христова можно увидеть отреставрированные памятники древнерусской живописи.