Колокольня на Соборной площади была построена в 1767 году на месте старой, сгоревшей. По преданию, на строительство колокольни Екатерина II пожертвовала пять тысяч рублей серебром. Любопытно, что крест на колокольне сориентирован не на восток, как обычно, а вдоль Санкт-Петербургского почтового тракта (сейчас улица Ленинградская). Обычай был нарушен в связи с ожидавшимся проездом через Каргополь Екатерины II, но поездка не состоялась.

Колокольня относилась к главной святыне города — собору Рождества Христова, но на ней висели колокола четырех церквей, стоящих на площади, а «в звонах десять колоколов медных»; для каждой церкви звонили свои колокола.

Высота трехъярусной колокольни 61,5 метра. Нижний ярус, суровый, тяжеловесный, состоит из четырех высоких арок, поставленных на квадратный цоколь. Он служил проездными воротами. На третьем ярусе висели не только колокола, но и часы со звоном.

Соборная колокольня играет важную градостроительную роль в архитектурном ансамбле площади.