Ptolemæus IV var det andet barn og den ældste søn af Ptolemæus III og hans kone Berenice II. Han blev født omkring to år efter at hans far var blevet konge i Ægypten. Ptolemæus IV havde en ældre søster, Arsinoe III, og tre yngre brødre, Lysimachus (navn usikkert), Alexander og Magas, alle født i 240'erne f.Kr. Hele familien mindes ved hjælp af statuer, der er oprettet i Thermos og Delfi af den etolianske forening. Under Ptolemaios III havde det ptolemaiske kongerige nået sit højdepunkt, da det afgørende besejrede det rivaliserende seleukidiske kongerige i den tredje syriske krig (246<unk>241 f.Kr.), finansierede det græske fastland modstand mod Antigonid Makedonien og opretholdt kontrol med næsten hele det østlige Middelhavskyst. Regeringen var dog også præget af det første indfødte egyptiske oprør mod ptolemæernes styre i 245 f.Kr. I de sidste år af Ptolemaios 3.s regeringstid, blev der udkæmpet en krig.
(229-222 f.Kr.) brød ud i Grækenland, og på trods af at Cleomenes III af Sparta modtog betydelig støtte fra Ptolemaios, var han blevet fuldstændig besejret af en koalition ledet af Antigoniderne og tvunget til at flygte til Egypten.