但是日渐明显的是，肯尼迪的宗教问题不是一个有利条件。史蒂文森本人也对此有些疑问，因副总统人选问题而递交到史蒂文森办公室的信件中有很大一批是反对罗马天主教和肯尼迪的。肯尼迪在此时感到非常苦恼，他也许是不太在乎副总统这个位置，但是如果因为自己的宗教问题而被否定他就不甘心。
史蒂文森最后赢得了总统提名，与艾森豪威尔的共和党角逐。然而此时他戏剧性地宣布，将把选择副总统竞选伙伴问题交民主党代表大会公开做决定。好几个民主党领导人认为这是一项危险的试验，肯定会帮了凯弗维尔的忙。尽管他们进行了激烈的辩论，可史蒂文森却认为这对沉闷的民主党代表大会是一种刺激，是同共和党选择尼克松的一种对照，也是对那些友好的候选人之间的矛盾对他形成的政治压力的一个解决办法。
史蒂文森宣布，在他赢得民主党总统候选人提名的第二天，副总统的人选将举行一次真正的投票。这样就掀起了12小时的狂热的政治活动。肯尼迪家族针对这一情况马上进行了一次闹哄哄的会议。但这次活动大半是在混乱和无知的状态中进行的，没有计划，没有准备，没有多少窍门，也没有几个熟人，肯尼迪家族全部出动了。
约翰·肯尼迪尽快地会见了各州的领袖，访问了几个州的核心小组。他对于这次争取提名是否可取仍然有些疑虑，但战斗正在这里进行着，他的战斗精神不容他逃避战斗。罗伯特·肯尼迪和尤妮斯·肯尼迪到别的代表团去替杰克游说。
投票紧接着开始。凯弗维尔、肯尼迪、汉弗莱、瓦格纳、戈尔参加了副总统提名竞选。约翰·肯尼迪在民主党代表大会大厅后边的斯托克耶茨旅馆里躺在床上从电视中观看这场角逐，当他看到自己在佐治亚州、路易斯安那州、内华达州和弗吉尼亚州的意想不到的实力，不禁惊讶地摇摇头。他说：“这件事现在真成了一件值得争取的事啦。”
接下来，拥有64票投票权的伊利诺斯州中的46票给了约翰·肯尼迪，这使他非常高兴。缅因州的14票出现了分裂，这又使他很失望。俄亥俄州的迈克·迪萨尔和宾夕法尼亚州的戴维·劳伦斯都担心候选人名单上会出现一个天主教教友，所以把他们两州合起来132票中的100票全给了凯弗维尔。
第一轮投票结束后，汉弗莱、戈尔和瓦格纳的票数看来都不够，虽然头两个人还希望会出现僵局。在下一轮投票中，他们所得的选票，以及其他一些候选人的选票，大有可能转到领先的两个人手中——不是转向凯弗维尔，就是转向肯尼迪。凯弗维尔这时以超过三比二的比数领先于肯尼迪。电视机上传来消息说，汉弗莱正在向斯托克耶茨旅馆凯弗维尔的一套房间走去，大概预备把他的选票转向田纳西州的凯弗维尔。
约翰·肯尼迪马上告诉身边的特别顾问西奥多·索伦森：“快上那儿去，截住汉弗莱，告诉他我也想同他谈谈。”
在凯弗维尔的门外，除了乱成一团、互相竞争的摄影师和新闻记者外，什么人也看不清。没有人知道谁在房间里，谁要进去或谁要出去。索伦森好不容易见到了汉弗莱的竞选经理尤金·麦卡锡，于是转达了肯尼迪发出的邀请。尤金·麦卡锡否定了联合的任何可能。
这时候，第二轮投票已在进行，对肯尼迪有利的趋势开始了。南方急于遏制住凯弗维尔，所以肯尼迪正在赢得戈尔和南方其他候选人的大部分选票。此外，肯尼迪也赢得了瓦格纳的选票。凯弗维尔的进展比较缓慢，不过他的代表几乎没有几个背离他的。罗伯特·肯尼迪、约翰·贝利和他们的助手们分布在大厅各处，叫唤代表团站到肯尼迪这边来。
当新泽西州和纽约州很快地把在第一轮投票中没有得到的126票全部交给了约翰·肯尼迪后，新闻记者们的纷乱喧嚣声，便从凯弗维尔的走廊里转移到约翰·肯尼迪的走廊里来了。约翰·肯尼迪躺在沙发上，眼睛盯着电视，电视里正显示出大会会场里一片混乱和肯尼迪的总票数不断上升的情景，肯尼迪不动声色地看着。从内心里，他也许有了一丝轻松，他起来洗了一个澡，又到床上躺着。然后，他带着助手穿过后门转移到一间僻静的房间，躲避记者们的纠缠。
这场角逐仍然不分高低。约翰·肯尼迪知道，如果不能取得大多数，光领先是不够的。俄克拉荷马州仍然支持戈尔。有人请求俄克拉荷马州州长支持肯尼迪，但州长说：“他不是我们这样的人。”他这一句话也许极好地概括了肯尼迪无法打进美国西部新教徒农牧场区的这一事实。瓦格纳在宾夕法尼亚州的选票转到了凯弗维尔那边而不是肯尼迪这边。接着，林登·约翰逊代表得克萨斯州站起来讲话，他在几个众议员的帮助下，已经消除了包括萨姆·雷伯恩在内的他的代表团里的反天主教徒的情绪。他宣布得克萨斯州的56票全部支持“那位带着战争伤痕的战斗的参议员……下一任合众国的副总统，马萨诸塞州的约翰·肯尼迪。”
这时他身边的人伸手向他祝贺。约翰·肯尼迪冷静地回答：“还没有定呢。”但他的票数不断在增长，他的信心又不自觉地流露出来，约翰·肯尼迪一边看电视，一边与索伦森讨论如果被提名，他应对代表大会说些什么话。北卡罗来纳州在第二轮投票中弃权，现在把半数的选票全部投给肯尼迪。肯塔基州的主席宣布，他的代表团“在这次代表大会期间一直站到少数派一边，现在热情地加入多数派，并将选票投给肯尼迪。”
但是最后肯尼迪未能如愿以偿，他已接近半数，但毕竟还差一点。在伊利诺斯州和加利福尼亚州之间的西部—中西部地区全部19个州中，肯尼迪只能取得它们384张选票中的20张选票。突然间风向又变了。
最后，电视屏上显示出凯弗维尔取得半数以上选票。约翰·肯尼迪失望地站起来，对身边的人说：“我们走吧。”于是他冲过门外的人群，把那些希望他等到一切结束后再上台的办事人员推到一边，带着疲倦的微笑大步走上了主席台。他没带讲稿，讲话简短而动人。他对支持他的人表示了感谢，对史蒂文森作出的由代表大会公开决定提名的办法表示祝贺，他并且提议全体一致同意凯弗维尔的提名。
约翰·肯尼迪迈着沉稳而缓慢的步子走回旅馆，同杰奎琳和家庭成员团聚在一起。那天晚上，他同家人和朋友们举行了一次说笑话的晚餐会。这样一来，他的烦恼和失落的情绪似乎烟消云散了。
1957年，约翰·肯尼迪回到华盛顿，担任参议院关于劳工管理方面不适当活动的特别委员会的委员。肯尼迪当众议员和参议员时，都曾坚决拥护民权。他支持一个强有力的公平就业委员会，支持取消人头税，支持反对私刑的立法，并支持修订关于妨碍议事活动的规则。在来自新英格兰的众议员中，他是第一个任命一位黑人做他的工作人员的官员。
1957年，约翰·肯尼迪支持行政部门提出的温和的、但是创先例的选举权法案。根据正常的表决程序，向国会两院提出的议案均先送交有关的常设委员会，在委员会里进行讨论表决，做出通过、修改或否决的决定，然后再向两院提出，供两院全体会议审议。从程序上讲，赞成绕过委员会审议法案的做法，是没有法律依据的。从深层讲，这也会使保守的参议员们在工作权和众议院的其他法案上耍花招。约翰·肯尼迪坚持，民权法案应按正常程序送交委员会，并须在一星期内审议完毕。
许多维护民权的民主党人私下也同意他的意见，认为放弃传统程序所引起的恶果会使一个强有力的议案更难获通过。但是由于他们担心在政治上被尼克松和共和党人的策略击败，他们大多数人全投票支持尼克松的裁定，即不经过委员会而批准民权法案。约翰·肯尼迪支持按正常程序的投票，则被民权派的领袖们谴责为企图争取南方的支持。在全国有色人种协进会的一次代表大会上，在波士顿的黑人领袖们的信件中，在报刊社论和专栏文章里，肯尼迪的投票都受到攻击。
肯尼迪喜欢引用一首诗：
在生命行将熄灭的余烬里
我感到遗憾的是：
我做“对”时，没有人会记住
我做“错”时，没有人会忘记
