Dar XIX a. mineralinio vandens šaltiniams buvo pastatyti rentiniai ir stogeliai.
1879 m. atrastą ir ištirtą šaltinį kurorto savininkas I. Kvinta pavadino dukters garbei „Viktorija“, tačiau vėliau rašytojo J. Tumo-Vaižganto siūlymu šis šaltinis pavadintas „Vytautas“.
Šaltinio versmę žymėjo banginio pavidalo skulptūra, iš kurios nasrų bėgdavo mineralinis vanduo. Pastačius Kauno HE kurorto simboliu tapusią skulptūrą paskandino patvinęs Nemunas.
Šiandien mineralinio vandens galima atsigerti dvejose biuvetėse. Viena jų, priklausanti „Tulpės“ sanatorijai 2006 metais įrašyta į architektūros paveldo objektų sąrašą.
