Phuket Town, also die Stadt selber, ist eine einigermassen normale thailändische Kleinstadt mit ein paar Hostels, auch Märkten, untouristischen Essensmöglichkeiten etc. Von dort aus gibt es Busse bzw. Pickups in alle Teile der Insel, um z.B. tagsüber an einen Strand zu fahren. Wenn man sich nicht gerade einen der Hauptstrände aussucht, ist das OK. Man kann m.E. schon ein paar Tage unspektakulär auf Phuket abseits des Massentourismus verbringen, wenn man möchte.
Prinzipiell würde ich aber sagen, wenn du eh nur 2 Tage dort blieben willst, ist es relativ egal, wobei ich auch Singapur vorziehen würde. Bei mehr Zeit würde ich halt weder noch machen, sondern andere Ziele in Süd-Thailand oder an der Ostküste Malaysia, z.B. Penang ansteuern, das hängt von deinem Gesamtplan ab.