Первое летописное упоминание о Себеже датировано 1414 годом в связи с нападением на русские пределы литовского короля Витовта. В том году город был взят и сожжен. С 1414 года Себеж был под властью Речи Посполитой. С консолидацией русских земель в начале 16 века вокруг Москвы, в 1534 году наряду с другими пограничными городами Себеж был освобожден. В 1535 году в Себеж прибыл для возведения крепости Василий Шуйский. Руководство строительством Шуйский возложил на воеводу Ивана Бутурлина. Место для новой крепости было выбрано на шестнадцатиметровом мысу. Здесь селились люди еще до основания городка и до сих пор сохранились остатки древнего поселения. С мыса, выбранного для основания крепости, открывается прекрасный вид на широкую водную гладь.
Гарнизон крепости составили 500 пищальщиков из Пскова. Крепость была деревянной, без особых укреплений, но она возвышалась над окружающей местностью , что составляло важное стратегическое преимущество.
27 февраля 1536 г . 20-тысячное войско киевского воеводы Андрея Немировича и полоцкого воеводы Яна Глебовича осадило Себеж. Крепость защищал гарнизон под командованием воевод П.В. Засекина и Тушина. Немирович начал приступ с обстрела крепостных укреплений. Однако его пушки действовали плохо. Не причинив никакого вреда осажденным, они в основном били по своим. В конце концов себежский гарнизон сделал вылазку и нанес литовцам полное поражение. Их остатки отступили к Себежскому озеру, стремясь уйти на другой берег. Но лед под ними проломился, и большинство воинов оказалось под водой. Войско Немировича почти полностью погибло. После этого поражения литовский князь Сигизмунд I вступил с Москвой в переговоры о перемирии. Оно было заключено в 1537 г. В честь Себежской победы правительница России Елена Глинская велела заложить в крепости церковь Живоначальной Троицы. Победители захватили богатые трофеи, в том числе знамена и «варганы» (сигнальные музыкальные инструменты). Во время боев под Себежем «из сороковые пищали » был убит один из литовских воевод «пан Воитек Николаев».
«Недовольный, что в его владениях россияне построили замок, — продолжает он, — Польский король Сигизмунд Первый в 1536 году [февраль — И.Л.] повелел киевскому воеводе Немире с войском двинуться к Иван-городу и разорить его. Приступы Литовцев к укрепленному замку были неудачны: скопившиеся на перешейке, разимые пушечными выстрелами литовцы разбежались по озеру в обе стороны, где от заломившегося под ними льда многие потонули. Чтоб довершить поражение, воеводы: князь Засекин и Тушин, учиня вылазку, погнались за бегущими, захватили пленных, отбили знамена, пушки. Наградя воевод и войско, великая княгиня Елена повелела в память победы построить в Себеже церковь Святой Троицы…»