xmame et sdlmame sont complètement différents. xmame n'est plus mis à jour, alors que sdlmame est à jour (version 0.130 actuellement)
En revanche, il me semble, de mémoire, que kxmame n'est pas compatible avec kxmame (mais je ne sais plus, je ne l'utilise qu'en ligne de commande sur mon pc, et je peux confondre avec un autre front end)
Je serait toi, j'essaierai de lancer un jeu en ligne de commande, style xmame atetris
ou mame atetris
et vérifier si ca fonctionne.
Si ca te fais pareil, tu peux commencer par supprimer toute la config de mame
rm -rf ~/.mame
et retenter xmame
Si ca ne fonctionne pas, tente avec sdlmame et regarde si ca te fais pareil. (pense à resupprimer les données de mame via le rm -rf ~/.mame)