Pierwszymi osadnikami na terenie dzisiejszego Pasymia był pruski szczep Galindów, który od IX do XIII wieku posiadał w tych okolicach liczne osady i grody, w tym gród Okrągła Góra zniszczony prawdopodobnie w wyniku plemiennych walk. Następnie w 1254 roku założona została w tym miejscu wieś Henrykowo należąca do biskupów warmińskich, odebrana im ponad wiek później przez Krzyżaków i przemianowana na Bassenheim. Nazwa ta przez lata była spolszczana i przechodząc przez formy Passenheim, Pasim czy Pasymek przybrała ostateczną formę Pasym znaną nam dzisiaj. Burzliwa historia Pasymia obejmuje wydarzenia takie jak: budowa zamku krzyżackiego w XV w., pożar miasta w XVI w., zburzenie zamku krzyżackiego, najazd Tatarów i wojsk koronnych, które znacznie zniszczyły miasto oraz epidemia dżumy na początku XVIII wieku.
Po wydarzeniach tych nie zachowała się żadna spośród trzech bram miejskich, ocalały jednak fragmenty murów miejskich oraz prostokątny rynek z ratuszem z 1855 roku. Po całkowitym rozebraniu zamku na jego miejscu stanął w 1876 r. neogotycki kościół katolicki. W Pasymiu znajduje się również dużo starszy kościół z 1391 roku stanowiący najcenniejszy zabytek miasta. W środku znajdują się gotyckie ławki, krucyfiks z XVI w., oraz ołtarz i ambona z XVII w.
Pasym otoczony jest przez jeziora Kalwa i Leleskie, a w najbliższej okolicy znajdują się również jeziora: Gromkie, Sasek Wielki, Serwent, Purdy i Kośno. Dzięki naturalnym walorom przyrodniczym w pobliżu wyznaczono wiele szlaków rowerowych o nazwach takich jak: Czarci Kamień, Kamień Hindenburga, Czarny Bocian, Babska Chata, Chamedafne północna, Graszk oraz Kalwa. Poleca się odwiedzić również zabytkowy park dworski w Elgnowie czy też park miejski w Pasymiu.
