Ta configuration est bonne, tu le prouves par toi même quand tu dis que l'écran ne scintille plus lorsque tu passes en résolutions progressives genre 320x224,320,240...
Le scanline est normal sur un crt (lignes horizontales), ton MAME est sûrement configuré en Direct3D c'est pourquoi l'image te paraît lissée contrairement à Groovymame.