جیمز ارل کارتر جونیور روز اول اکتبر ۱۹۲۴ (۹ مهر ۱۳۰۳) در شهر کوچک پلینز در ایالت جورجیا به دنیا آمد. او در میان چهار فرزند خانواده ارشد آنها بود. پدر او که طرفدار جدایی سفیدپوستان و سیاهپوستان بود، کشاورز و تاجر بود، و مادرش که لیلین نام داشت و پرستار بود، در ۶۸ سالگی به سپاه صلح پیوست و دو سال در هند به کار پرداخت.