Nunca ouvi essa crítica, mas assumo que surja da proeminência do termo "extrema direita". O termo "extrema esquerda" implica uma certa reflexão, onde os dois são lados da mesma moeda, que talvez seja o que causa esse certo receio. Até porque muitas vezes o termo é cooptado pela extrema direita.
Sobre a origem dos dois termos, falo isso puramente por especulação e sem nenhuma pesquisa, mas acho que é só mais um caso de Portugal importando cultura da França enquanto nós importamos cultura dos Estados Unidos, que acaba sendo a razão de uma quantidade esmagadora dessas diferenças de termos.