Am Hafen von Karlshamn erinnert das Auswandererdenkmal an die Massenauswanderung im 19. Jh. Von der Uferpromenade bietet sich ein Blick auf die Zitadelle, die zum Schutz des Hafeneinlaufs im 17. Jh. erbaut worden ist. In Karlshamn ist auch das erste Werk des berühmtesten Architekten Schwedens, Erik Gunnar Asplund, zu besichtigen: die "Väggaskola" (1912-1918), eine im Stil der Nationalromantik erbaute Schule. Das Stadtmuseum informiert über die Lokalgeschichte und zeigt verschiedene Ausstellungen. Es liegt im Kulturkvarter (Kulturviertel), in dem noch mehrere Gebäude aus dem 18. Jh. stehen. Dazu gehören das Holländarhuset, in dem die holländischen Kaufleute auf ihren Handelsreisen wohnten, eine alte Fabrik, in der die örtliche Tabakindustrie dokumentiert wird, eine alte Druckerei und eine komplette Silberschmiede.
