Монастырь основан преподобным Пафнутием Боровским в 1444 году на возвышенности при впадении реки Истремы в реку Протву.
Через 117 лет, в 1586 году собор был почти полностью разобран, и на его месте по воле царя Федора Ивановича поставлен новый, пятиглавый; в кладке его фундамента использовались блоки с росписью XV века. Так фрагменты росписи Митрофана и Дионисия сохранились до нашего времени (они находятся в Центральном музее древнерусской культуры и искусства им. Андрея Рублева в Москве и Боровском филиале Калужского государственного областного краеведческого музея).В 1610 году монастырь оборонял от поляков князь Михаил Волконский, однако он был взят и сожжён. В 1812 году монастырь был сожжен французами, но вскоре восстановлен.При реставрационных работах 1960-х годов были извлечены 194 белокаменных блока. Из них на 29-ти сохранились фрагменты сюжетной и декоративной живописи начала XVI века.