Woudrichem was lang één der belangrijkste vissersplaatsen, vooral wat betreft de zalmvisserij. Het Visserij- en Cultuurhistorisch Museum is dan ook voortgekomen uit het initiatief van een groep enthousiaste inwoners van Woudrichem. Zij begonnen met het inzamelen van historisch materiaal over de riviervisserij. In enkele jaren was zoveel materiaal verzameld dat besloten werd om een museum in te richten. De verzameling geeft inmiddels een vrijwel volledig overzicht van de Nederlandse riviervisserij, maar ook diverse inkijken in de cultuur van de streek.