Если сказать человеку заслуженно, что он чудак на букву м, почему это называют переходом на личности.

Это просто констатация факта!