Как прокачать уровень поселения до 6 уровня?

Ну очевидно, что не все построил. Гугли все постройки и сравнивай со своими.

иногда ещё за некоторые сюжетные квесты чучуть увеличивается лвл поселения

Если сюжет прошёл, значит улучшения связанные с миссиями выполнены. Остаётся только исследовать лагерь снизу до верху, начиная от построек у воды и заканчивая теми что у подъёма в гору. Мне писали в письме в сундуке, что нужно улучшить земледелие и животноводство до 2 уровня, а оказалось что у меня одна из построек у воды не улучшена, после этого стал 6 уровень. Бывает что около постройки нужно с кем-нибудь поговорить, чтобы открылась доска для улучшений.

рядом с поселением есть еще дополнительные набеги, которые так же надо развивать)

Ворона над поселением запусти, он покажет что можно построить или улучшить.

Если кто столкнулся с этим тоже, посмотрите эту пристройку