Просадки напряжения на пк без нагрузки

...заметил большие просадки напряжения на пк без нагрузки...

Если БП на гарантии - несите продавцу, пусть сам проверяет. Если нет - попробуйте помониторить не только в режиме реального времени но, и при работе какое-то время со значениями минимум / максимум. Чем дольше комп работает, тем больше вероятность увидеть максимально большую просадку по линиям.

Только не нагружайте комп сильно - при таких напряжениях большие нагрузки могут привести к BSOD-у, или что-нибудь сгорит.

...В чем может быть причина и стоит ли менять блок питания ?

Возможно БП "начал шалить", особенно если старый и / или относительно дешёвый. Либо датчик на материнке врёт - попробовать подключить другой БП (заведомо хороший) и посмотреть что покажет с ним.