Antialiasing = Kantenglättung (glättet bestimmte Polygone)
Davon gibt es verschiedene Modis, die auch qualitativ anders aussehen.
MSAA = Multi Sampling Antialiasing = Mainstream, für normale Hardware - mittlerer Performanceverlust
SSAA = Super Sampling Antialiasing = Für stärkere Hardware - großer Performanceverlust
FXAA = Fast Approximate Antialiasing = Für schwächere Hardware - niedriger bis gar kein Performanceverlust
Dann gibt es noch SGSSAA (Sparse Grid Super Sampling Antialiasing), welches nur für Xtreme-High-End Hardware gedacht ist. Alternativ wäre zu SGSSAA z.B. DS (Downsampling) anzuwenden. (glättet alle Polygone bzw. das ganze Bild)
Downsampling lässt die Grafikkarte z.B. eine Auflösung von 2048x1536 rendern, "zerkleinert" die Auflösung wieder auf die Auflösung, die der Monitor hat (in meinem Fall auf 1920x1080) und schickt dann das Bild an den Monitor, welcher das Bild letztendlich ausgibt. So umgeht man ebenfalls die Treppeneffekte - kostet aber auch ungefähr so viel Leistung wie SGSSAA.
AF = Anisotropischer Filter (schärft Flächen, die man schräg "anschaut") - hat rein gar nichts mit Anti Aliasing zutun. Kannst du auf 8 oder 16 stellen.
Für dich würde ich folgende Einstellungen verwenden: 8x Anisotropischer Filter, 2x Multi Sampling Anti Aliasing + FXAA.
Diese "Zahlen" - z.B. 4x MSAA - bedeutet, dass Antialiasing an den Polygonen 4-fach drüberrechnet.