Varberg war früher einer der elegantesten Badeorte Schwedens, und auch heute noch ist der Tourismus neben Handel und Industrie eine wichtige Einnahmequelle der Stadt. Im historischen Zentrum dominieren ein- bis zweistöckige, farbige Holzhäuser. Aus der Blütezeit Varbergs im späten 19. und frühen 20. Jh. stammen das Kurhaus von 1883 sowie das auf Pfählen im Meer stehende Kaltbadehaus von 1903. Der Holzbau mit Zwiebeltürmchen beherbergt ein Kurbad mit Meerwasserbecken. Varberg ist nach der mächtigen Festung benannt, die Stadt und Hafen überragt. Der Bau der Festung wurde bereits 1320 begonnen, aber erst Mitte des 17. Jh. fertig gestellt. Heute ist hier das Länsmuseet untergebracht, dessen bedeutendstes Exponat der "Bockstensmann" ist, eine sehr gut erhaltene Moorleiche aus der Zeit um 1360. Von der Festungsterrasse aus, die heute ein Restaurant beherbergt, bietet sich ein einzigartiger Blick über das Meer.
