Опасаясь, что ковенская крепость, попав в руки неприятелей, станет очень опасным местом, Витовт приказывает вывести из города все орудия и взорвать укрепления, как только подойдет противник. Так и было сделано, а через год был разрушен и Божий остров, который больше не воссоздавался.
В те времена, когда литовцы были без союзников, им приходилось отдавать нкмцам в знак мира и дружбы Жмудь, а если мирились с русскими и поляками, возвращали эти земли обратно. Перелом в пользу литовской истории произошел в 1410г. после грандиозных, крупномасштабных боев под Грюнвальдом, между соединенными силами Польши, Литвы и Западной Руси с одной стороны и крестоносцами с другой. Только после этой битвы Жмудь, а с нею и Ковно вошли окончательно в состав Великого Княжества Литовского по договору 1411г.
В 1413г. в Гродно на сейме состоялась федерация Литовского Великого Княжества с Польшей. Это событие сыграло важную роль в истории не только Ковно, но и всей Литвы. Союзные государства решили вести Жмудь по пути христианского просвещения, которое так безуспешно в течение около 200 лет крестоносцы проповедовали огнем и мечом. Король с Великим князем, королева Ядвига и вел. княгиня Анна с многочисленным духовенством прибыли для этой цели в Ковно. Здесь обе государыни остались, а Ягайло с Витовтом по реке отправились в Жмудь для проповеди слова Божия. После была основана Жмудская епархия.
Значение Ковно в стране начинает расти с начала XV века: город процветает, он становится крупным торговым пунктом, где стали заключаться значительные сделки. Для Ковно начинался золотой век, век расцвета и торговли.
Во время Сигизмунда Кейстутовича от 1432г. город по своему торговому значению находится наравне со Смоленском, Киевом, Минском... При Казимире Ягайловиче (1440-1492) Ковно еще больше преобразился и стал считаться одним из главных городов Великого Литовского Княжества, управляемых по Магдебургскому праву. Город рос и процветал, ширились владения горожан, была утверждена Успенская ярмарка, построены кирпичная фабрика и картонный завод. С 1540 г. велся уже строгий расход и приход города. Следили за чистотой водосточных труб, исправляли стены города, строили новые дома. Сам король польский Генрих Ваза в 1574г., утвердил все права, дарованные Ковно, и назвал этот город приносящим честь государству.
Но были времена, когда жители Ковно вынуждены были оставлять свои дома и скитаться по лесу. С 1588г. в городе свирепствовала моровая язва, и только морозы в 1590г. прекратили эпидемию. В последующие 2 года были обильные урожаи, и город снова расцвел. Литовские и немецкие купцы следили за городом и отстраивали новые дома. В Ковно были 4 фактории: Голландская, Английская, Прусская и Шведская.
В 1655г. город опять потерпел бедствие. Шведские войска разграбили Ковно и сожгли многие здания. Гетман Литовский князь Януш Радзивилл с союзниками в Кейданях (Кедайняй) сдались шведам. Двум полководцам в 1661г. Христофору Пацу (литовский канцлер) и Христофору Сапеге удается очистить город от неприятелей, но к тому времени он уже был опустошен.
Правительство, желая возродить былую славу города, освободило ковенских жителей от общественных и таможенных налогов на 10 лет вперед. Помогал городу и король Иоанн Казимир, разрешив беспошлинно сплавлять по реке в Пруссию лес в течение 4-х лет. Были возобновлены 3 двухнедельные ярмарки: богоявленская, успенская и воздвиженская, на которых иностранцам было разрешено заключать сделки только с местными купцами.
В 1701г. Ковно опять затронула война. 24 декабря шведские войска вошли в город и пробыли здесь на этот раз 12 недель. Вдобавок ко всем неприятностям, в губернии опять свирепствовала жестокая эпидемия. Городу опять нужна была помощь, и с 1717г. он снова освобожден от налогов, а король Август II помог выплатить долги. Но в 1731г. в городе начался страшный пожар, опустошавший все на своем пути, оставлявший после себя лишь пепел. Купцы, глядя на город, в котором осталось несколько домов да лютеранская церковь, разъехались по домам в свои заморские страны. Видя печальный исход города, заядлые немецкие купцы отвели всю торговлю к Кенигсбергу.
Русские войска, двигавшиеся под начальством Апраксина и Фермора в Пруссию, в 1750г. забрели в опустевший город. Воины разобрали десятки полуразрушенных домов и построили из них печи для хлеба. Эти развалины и пустыри никого больше не интересовали, кроме евреев, которые скупали здесь земли. Долго это не могло продолжаться. Уже в 1753г. королевским декретом дальнейшие операции такого рода были прекращены.
Проявил заботу о городе Ковно Станислав-Август, утвердив в 1766г. все права, прежде дарованные городу. Но, увы, люди не собирались возвращаться. Только через 17 лет мирное положение в этих краях сумело привлечь сюда жителей. Стали подниматься из развалин дома, склады наполнялись товаром и возродился рынок. Постепенно стала налаживаться жизнь горожан, появились школы. В 1771г. король ассигновал 40 000 злотых на починку приходского костела.
После раздела польского государства и присоединения Ковно к России, по трактату от 24 октября 1795г., экономическое положение города было оттянуто к соседней державе, и многолюдье ковенских базаров исчезло. В 1800г. - опять пожар, в котором сгорела третья часть города и приходской костел. В 1811г. город настигла страшная засуха, люди переправлялись через реки вброд, суда останавливались, леса горели, скот погибал, растительность засохла.
Не прошло и года после ужасной жары, как в Ковно 11 (23) июня 1812 г. поя-вились непрошенные гости. Главные силы французского императора Наполеона в составе корпусов Даву, Удино, Нея и другой гвардией численностью 220000 человек приблизились к Ковно с левой стороны Немана. Были сделаны 3 моста из 75 понтонов с расстоянием между ними в 277 метров. Целый день войска переправлялись через реку между местечками Панемуне и Алексотас, а к вечеру 12 июня по мосту перешли главные силы, и Наполеон перенес свою квартиру в Ковно. На следующий день войска стройными рядями двинулись дальше.
Французы ушли для того, чтобы вернуться вновь. Уже 30 ноября бесславные, разбитые, голодные и холодные солдаты были в Ковно. Замерзшие солдаты грабили магазины, бросались в погреба за водкой, вытаскивали на улицы бочки с вином и напивались до полусмерти. В таких условиях генерал Ней готовился к обороне. 2 декабря нагрянул атаман Донского казачьего войска граф Платонов и приказал открыть из орудий огонь по Ковно. Французы, удивленные тем, что по ним еще стреляют, вынуждены были нестройными толпами в количестве приблизительно 70000 человек бежать дальше.
Через день Платонов праздновал победу. После молебна на ковенской площади раздалось могучее русское <Ура!> и прогремел 101 выстрел. Католические священники тоже вышли отслужить молебен, а местные евреи, выйдя на площадь, несли кивот с десятью заповедями. 17 декабря граф Платонов покинул город, а в 1843 г. на ковенской площади был воздвигнут монумент в память о победе над Наполеоном, от которого в настоящее время не осталось и следа.
В городе опять воцарился мир, но ненадолго. События польского восстания 1830-31г, затронули и Ковно. Руководители восстания, воспользовавшись тем, что почти все литовские войска двинулись в Польшу, подняли мятежи и в Литве против установившегося законного правительства.
Восстание разгоралось все шире и шире, охватывая всю страну. Уже все города, кроме Вильно и Ковно, были в руках повстанцев. Мориц Прозор, который овладел Яновом (Йоново), расставил под Ковно до 2000 человек между Неманом и Вилией (Нерис). Слабым Ковенским гарнизоном и неполным батальоном 9-го стрелкового полка командовал Бартоломей. Офицеры поклялись защищать город или взорвать его. Жителям было запрещено выходить на улицы. На Немане были сожжены мосты, а Ковно обнесли несколькими полевыми укреплениями.
Вскоре на подмогу гарнизону из Польши прибыли, потерпев там неудачу, генералы Сакен и Малиновский. 24 мая Малиновский был вынужден покинуть Ковно, дабы помешать переправе поляков, а генерал Сакен получил приказ идти на защиту Вильно, стянув к себе до 7000 человек с 26 орудиями. Был сожжен мост, ведущий через Вилию, на реках уничтожены все суда, а в городе остались только 900 больных с врачами и магазины с большим запасом сухарей. Вскоре Ковно завладел партизан Заливский со своим повстанческим отрядом.
19 июня мятежное войско Гепгуди потерпело страшное поражение под Вильно и без оглядки бежало отсюда к прусским границам. Это был значительный перелом в событиях. Дух мятежников был надломлен. Повстанцы, услышав о приближении русских, тут же отступили. 28 июня генерал Малиновский атаковал Ковно и легко прогнал неприятелей. Войдя в город, генерал нашел больных русских солдат и 15000 пудов сухарей.
Мятеж был подавлен, организаторы и зачинщики были наказаны, а их имущество конфисковано. Стал улучшаться быт ковенских жителей, строились новые дома, школы, училища. В 1843г., 1 июня, в Ковно была учреждена православная епископская кафедра, на которую был назначен архимандрит Виленского Свято-Духова монастыря Платон Городецкий.
Удивительным является и то, что в 1859г. 9 мая начались работы по сооружению первого в России железнодорожного туннеля в Ковно длиной 1,28 км. Его Императорское Высочество Цесаревич Николай Александрович 7 октября 1860г. в 2 часа пополудни прибыл в Ковно, чтобы ознакомиться с работами по устройству туннеля и моста железной дороги, а после благополучно отправился в Варшаву. Строительство туннеля было закончено в 1862г.
К этому времени уже назревало польское восстание 1863г., которое, к сожалению, не обошло стороной и Ковно. Самым громким событием этих восстаний, произшедших в Ковно, была демонстрация 31 июля 1861г. на плавучем мосту, соединяющем литовский и польский берега Немана.