Как с ними бороться? Нужно ли высказываться в глаза обидчикам, особенно, если это близкие люди? Или молча все переносить? Как не поломаться в такой ситуации?

Конечно, это неприятно, но поинтересоваться о ее причине, думаю стоит

Есть народная пословица, на чужой роток не набросишь платок, вроде не переврал.
Я не помню у кого я читал, к одному монаху пришли и стали его спрашивать, а правда, что говорят, что ты блудник? Да.
А то, что ты лжец? Да.
А то, что ты в Бога не веришь? О нет сие не правда.
А чего же ты не оправдываешься о всем а только о вере?
А того, что Господь мне дороже.
Не дословно.
Я не воспринимаю разговоров когда принесший мне всякую весть говорит, что я тебе скажу, но только ты меня не выдавай, это уже повод задуматься, если это правда, то чего ты боишься ее подтвердить при свидетелях? Так, что рассудительность еще не в запрете