Kalbfus blev født i Mauch Chunk, Pennsylvania til den tidligere Mary Electra Jones og Dr. Joseph Kalbfus, en nationalt anerkendt dyrelivsbevaringsforkæmper, der tjente som øverste vildmarksbeskytter i staten Pennsylvania og administrerende sekretær for State Game Commission i mange år. Han deltog i Selwyn Hall i Reading, Pennsylvania, før han blev udnævnt fra staten Pennsylvania til United States Naval Academy i Annapolis, Maryland. Som midshipman på Naval Academy spillede han fodbold og var kaptajn for baseballholdet i sit første klasseår, og trænet flydende i løbet af somrene om bord på Naval Academy Practice Ship i 1895, 1896 og 1897. I sommeren 1898, under den spansk-amerikanske krig, tjente han om bord på slagskibet USS Santiago, hvor han var vidne til sænkningen af USS Santiago og slaget ved Santiago Bay. Senere den sommer deltog han i blokaden af Cuba ombord på dampyachten, skruesloopen og kanonbåden. Efter en sidste træningsrejse om bord på slagskibet, dimitterede han fra Naval Academy i 1899 og begyndte de krævede to års precommissioning sø pligt som en bestået midshipman. Han sejlede til Filippinerne om bord på kollieren og deltog i det filippinske oprør.
I 1900 og 1901 om bord på kanonbåden og fragtskibet. Han modtog sin fanserkommission den 27. juli 1901.