Только вы знаете, с кем вам общаться приятно, полезно, безопасно, интересно, а с кем - нет. Никто другой не может решать за вас это и указывать вам, что вы должны чувствовать и думать о других. То есть, многие пытаются это делать, но вопрос не в том, пытаются ли они, а в том, принимаете ли это вы.

Если вы отказались общаться с кем-то вообще или на его условиях, этот человек может обьяснять ваш поступок себе и другим каким угодно образом, как ему выгодно. И вы не можете на это повлиять. И это не повод соглашаться на общение, которое вас не устраивает.

Вы можете выглядеть в глазах других полным идиотом, злюкой, сукой или высокомерным эгоистом из-за того, что отказались от неадекватного для вас общения, и у этого есть и положительная сторона: те, кто не разделяет ваших ценностей, будут обходить вас за версту.