Jouke en Elisabeth Visser-de Boer moesten zich na de bevrijding beiden verantwoorden voor het Bijzonder Gerechtshof, wegens hun NSB-lidmaatschap en het dienstnemen van Jouke bij de Waffen-SS. Hij was een dag voor de bevrijding van Koudum al gearresteerd. Dat was een weinig verheffende gebeurtenis, maar ongetwijfeld luchtte het wel op. In een optocht werd Jouke de hele Hoofdstraat doorgevoerd en zo met een omweg naar de cel in het gemeentehuis gebracht. Hij toonde zich weinig berouwvol. Eisje Speerstra schreef daarover aan haar zus:
Toen kwam de mare dat de NBS Jouke Visser (die thuis was met ziekenverlof) zouden ophalen. En dat bleek waar te zijn. Ze hebben hem uit huis gehaald zijn heelemaal de Hoofdstraat doorgetrokken bij het Lokaal v. Chr. belangen langs zoo naar de cel . Telkens probeerde hij de Hitlergroet nog te brengen, maar dan kreeg hij een klap op zijn arm.
Jouke moest in Leeuwarden verschijnen. In het de Leeuwarder Koerier van 10 april 1946 staat een verslagje van de eerste zitting waar tegen hem 15 jaar gevangenisstraf werd geeist:
Met den 35-Jarigen schipper Jouke Sijbrand Visser uit Koudum bleek weer eens een onwetend man voor de groene tafel te verschijnen. Capitulatie identificeerde hij argeloos met vrede, het verbod om in vreemden krijgsdienst te treden was buiten hem om tot stand gekomen, de Waffen S.S. was op één lijn te stellen met een cultureel genootschap, de gijzelaars, die hij te Gestel had bewaakt, waren hem even onbekend als de bewoners van een andere planeet. De eisch luidde 15 Jaar. Mr. A. W. Haan wees op verdachte's slechte sociale positie, zijn geringe verstandelijke ontwikkeling en zijn wankele gezondheid (t.b.c).
De Verslaggever van Friesch Dagblad legde in de krant van 11 april 1946 andere accenten in zijn verslag van deze zittting:
Slechte economische omstandigheden zijn voor het Tribunaal en Bijz. Gerechtshof geliefkoosde verontschuldigingen. Maar ditmaal komt mr. Haan, die in de zaak tegen Jouke Sijbrand Visser te Koudum als verdediger optreedt, met cijfers. Verdachte verdiende, voor hij naar Frankrijk ging te werken, fl 16 per week voor hem en zijn gezin. Hij moest zich verbeteren en ging daarom vrijwillig werken voor den vijand. Toen hij thuiskwam uit Frankrijk kwam hij ook door omstandigheden in aanraking met den ronselaar Terpstra, die hem slachtoffer maakte en zoo kwam Visser bij de Waffen S.S. terecht. Omdat hij nat. soc. was georiënteerd, hetgeen bleek door zijn toetreding tot de N.S.B., en de procureur fiscaal het dienstnemen bij de S.S. als een consequentie daarvan beschouwt, hoort verdachte 15 jaar gevangenis tegen zich eischen.
Het vonnis was er binnen veertien dagen. Op 24 april berichtte de Leeuwarder Koerier:
Tegen den 35-jarigen schipper Jouke Sijbrand Visser uit Koudum, die tot de Waffen S.S. was toegetreden, was 15 jaar geëischt. De sententie maakte er 10 jr. R.W.I.[Rijkswerkinrichting] van, alsmede ontzetting uit de beide kiesrechten voor het leven. Beroep in cassatie toegestaan.
Elisabeth werd een maand later in Sneek berecht. Op 28 mei 1946 schreef de Leeuwarder koerier:
Elisabeth de Boer, vrouw van den S.S.-man Visser te Koudum, was tot dusver ook niet geïnterneerd Zij moet terzake haar lidmaatschap van de N.S.B. 4 maanden naar het kamp. Bovendien 8 mnd. voorwaardelijk, met een proeftijd van 3 jaar. Onder toezicht van de S.T.P D. [Stichting Toezicht Politieke Delinquenten] gedurende dien tijd wordt haar tevens opgelegd.
