Ich würde dir raten, einfach Webspace zu buchen (500MB Quota, MySQL, php5, 50GB Traffic sollte für den Anfang reichen, bis du diese Größe hier erreicht hast dauert es eh ne Weile), dann hast du nicht die Sorgen, die ein Server mit sich bringt und der Webhoster muss sich darum kümmern dass genügend RAM (und natürlich CPU, HDD, Backupplatz, etc) da ist.
Für den Betrieb eines eigenen Servers (egal ob dediziert oder virtuell) benötigst du fundierte UNIX-Kenntnisse, Grundkenntnisse in Netzwerktechnik, fundierte Sicherheitskenntnisse, etc. Deiner Frage nach zu urteilen mangelt es dir an solchen.
Bzgl. RAM für ein Forum gilt außerdem zu beachten, dass php verhältnissmäßig schlecht skaliert, was Arbeitsspeichernutzung angeht. Hier gilt also: mehr ist besser. Wie viel du tatsächlich brauchst hängt aber unter anderem von der Konfiguration ab und läßt sich so einfach nicht sagen. Ich würde dir dazu empfehlen, dich auf einschlägigen Seiten zu informieren und auch auf einem PC ein paar Experimente zu fahren.