Allez je suis chaud pour te répondre partiellement à ton soucis.
Tout d'abord si tu trouves que les FE ne suivent pas ta résolution, c'est tout simplement parce qu'il te faut un layout adapté. En effet si tu utilises atomic par exemple, il te faudra un "theme" en 640x288 au lieu de 640x480.
Pour le scintillement, c'est toujours une histoire de réglage fréquence de l'affichage. Essaie de changer celle de l'écran par windows. 50,56,60hz.
Et pour ce qui est de l'affichage Mame, les réglages sont assez fin. Essaie Houba mame. Moi meme j'ai mis longtemps à comprendre toutes les options d'affichage graphique sous mame32. C'est assez fin. Mais au final tu peux régler sans soucis pour chaque jeu ou famille de jeu un affichage particulier.
exemple : le meme type d'affichage pour les pacman, ou les neogeo etc...
C'est pas trop trop fastidieux à faire. Suffit d'utiliser un affichage générique
puis changer quand tu tombes sur un jeu pas correctement affiché.
Tu n'as pas besoin d'avoir la meme résolution sous windows, sous le FE et sous mame.
tout peut être indépendant.
sinon un détail technique : un jeu sans filtre en 320x240 sera affiché exactement pareil en 640x480. les sprites sont juste doublé en taille par Mame.. Apres intervient évidemment les limitations de ton écran arcade qui lui est entrelacé.
Le mieux pour toi est encore de regler windows en 640x240 ou 640x288.
Ensuite utiliser un FE avec un skin adapté (en 640x288 ou 640x240) t'en trouve en telechargement sur le site atomic par exemple.
Et enfin utiliser un mame sans/avec l'option fit resolution to windows etc...
Tu trouveras ton bonheur apres maintes essais. Car la résolution du FE et de mame ne sont pas specialement liées.
Voici un exemple de mes réglages :
http://www.gamoover.net/modules.php?name=Forums&file=viewtopic&t=4647&postdays=0&postorder=asc&start=103mais dans ton cas je pense qu'il faudra activer : Switch resolution/color to fit. et changer qq autres options de sync/résolution.
Bon courage =)