多数“自由的有色人”，其活动都在经济上、政治上和法律上受到限制。他们通常是贫困而又无技术的工人，在南方大部分地区及北方不少地区，他们缺乏基本的人权，在受到白人的欺诈或被白人施以暴力时，也很少或根本不能得到法律的保护。但不管怎么说，他们在文化上适应美国社会的时间毕竟要比奴隶早好多年，甚至早好几代人。在1850年，大多数“自由的有色人”能读书写字，而奴隶达到这个水平的却占其总数的1%～2%。只是到了1900年，整个黑人民众的识字率才上升到“自由的有色人”在19世纪中期达到的这个水平。到了1940年，整个黑人民众的城市化水平才赶上“自由的有色人”在1850年所达到的水平。总而言之，在适应美国社会方面，“自由的有色人”的起跑点要比其他黑人民众有利多了。
这种有利的起跑点具有深远的影响。“自由的有色人”的子孙后代，直到20世纪，在各个领域向来都是黑人领导层当中的佼佼者。他们是全国有色人种协进会的创建人、支持者和早期领导人。W·E·B·杜波伊斯、托马斯·福琼以及查尔斯·切斯纳特等人都是“自由的有色人”的后裔，瑟古德·马歇尔则是这些人当中的后起之秀。同样，在20世纪中期，获得博士学位的黑人，在美国首都华盛顿从事专业工作的黑人，其大多数显然也是“自由的有色人”的后代。“自由的有色人”及其后代创建并管理第一所最负盛名的黑人公立中学，即设在哥伦比亚特区华盛顿的邓巴高中。该校培养出美国第一位黑人将军、第一位联邦法官、第一位黑人内阁成员、血浆的发现者、第一位民选的参议员、第一位受聘于名牌大学的黑人教授，以及其他许多领域一长串的“第一”。
因为具有白人血统的人在“自由的有色人”当中比在奴隶当中来得普遍，所以肤色较浅的黑人在本族获得突出业绩的成员当中，长期来就占有额外的比例，致使白人和黑人都把这些人的成就归根于以白人血统为基础的混血基因的优越性。这批黑人精英，虽然在公开场合以黑人民众的名义讲话，但内心具有肤色浅、阶级地位高的自我意识，长期来对黑人民众敬而远之，态度冷漠。和其他种族群体一样，在黑人当中，历史上这种早期的优越条件在内部造成了难以弥合的差别。
从解放到受歧视
南北战争不仅是美国黑人历史上的一个转折点，而且本身堪称奴隶制度史上的最后一次大流血。这场双方都豁出去了的战争拖延了4个腥风血雨的年头，南方的经济完全停滞，土崩瓦解，而且黑人和白人蒙受了同样的苦难，因为南方军队和北方军队都没收食品，四处掠夺，有时甚至犯下暴行。
黑人也更加直接地卷入了战争。联邦军队有为数18.6万多名黑人士兵，约占其总兵力的1/10。21名黑人在南北战争中获国会勋章。开小差是战时的一大问题，但白人士兵开小差的情形比黑人士兵要严重得多。
在南北战争期间，南方黑人和白人之间明显地呈现出爱憎兼具的关系。黑人对白人怀有刻骨的怨恨，白人对黑人滥施淫威，但双方也曾逾越奴隶制度的鸿沟，结成感情上的纽带。有些奴隶一直对其主人忠心耿耿，甚至在男主人赴前线为南部邦联而战时，仍对其家属采取保护的态度。也有其他的奴隶在北方军队逼近时，为自由而逃。同一个奴隶，其行为时常是极为矛盾的：他会把自己受伤的主人从战场上背回来，藏在安全地方，然后自己向相反的方向拔腿逃跑。参加联邦军队的白人同样也是爱憎兼具的，对黑人有夸奖也有诅咒，时而嘲笑他们，时而与他们一起流泪，既会给黑人以亲切的关照和慷慨的救助，也会忍心鞭打他们，并把他们像牲口一样卖掉。战争结束后，许多事例显然让奴隶主的感情受到刺激，因为不少奴隶甚至在其原先的主人答应出钱雇用他们时，也不愿留下来，执意远走高飞，致使白人认为黑人“背信弃义”或“忘恩负义”，从而感到灰心和失望。
在感情上对黑人抱有怨恨的，并不仅仅限于原先的奴隶们。那些在前线被打败、疲惫不堪而又饥肠辘辘的士兵回到毁于烽火的南方地区的家园，也将满腔怒火发泄到孤立无援的黑人身上，犯下骇人听闻的暴行。奴隶主有时也会向那些逃出南方去参加联邦军队的黑人奴隶的妻小实行报复。奴隶制在南方实行了两个世纪之久，黑人惯于被认为是毫无权利的。所以南北战争之后，南方白人不仅对黑人获得解放感到愤懑，而且对黑人在言行态度方面有任何表现，显示他们与白人一样也是人，或和白人有共同权利的迹象时，都不能接受。驻扎在南方的一位联邦军队的上校于1865年说过一句话，恰如其分地概括了南方白人对待黑人的一般态度：“打死一个黑人，他们不认为是谋杀；白人男子夺去黑人女子的贞操不是诱奸；夺取黑人的财产不是抢劫。”南方白人的这种态度亦曾体现在最高法院先前就德莱德·斯科特诉桑福德一案所作出的判决书中，这份判决书宣称黑人“不具备白人应予尊重的权利”。一句话，当美国黑人开始享受自由时，其周围的情感氛围与经济上和政治上的氛围一样，是很不妙的。
虽然黑人在奴隶制度下身心备受折磨，但却并非一群在精神上也被摧垮了的人。在南北战争中，一大批黑人骁勇善战。战后，在北方军队驻守南方时期，在联邦军队的保护下，他们管理并训导过白人。由于白人暴徒和不法分子进行猖獗的恐怖活动，刚刚获得解放的黑人，其地位是不牢靠的。为使黑人“安分守己”而使用暴力和恐怖手段，恰好证明黑人并不都是逆来顺受的软骨头。
对黑人来说，自由既解救了他们，又使他们陷于被连根除掉的境遇。许多人开始背井离乡，四处游荡，肩上背着干瘪的行李包，时常是“食不果腹，衣不蔽体，贫困交加”。有的是想去某个地方寻求新的生活，有的意在找到以前在奴隶市场上被卖掉的长期离散的家???。当时一位自由民事务署的官员说道，这些游荡者当中，每一位母亲的儿子好似都在寻找妈妈，而每一位母亲都在寻找其子女。当时，一位新闻记者报道说，在弗吉尼亚州和北卡罗来纳州的各条道路上，他都遇到络绎不绝的黑人，许多人步行走遍全州甚至走遍一个州以寻找失散的家人。不少父母为了找到自己的子女，费了九牛二虎之力，用当时一位联邦官员的话来说，简直是使出了“超人的力气”。好几个月之后，大规模的流动渐渐平息下来，但是在新创办的黑人报纸上刊登寻找失散家人的告示，占去了整版整版的篇幅，一直持续到19世纪80年代。
职业
南方的白人以及后来的联邦占领军当局官员们最为担心的事情之一，就是害怕刚刚获得自由的奴隶将不会安顿下来并开始干活，而会继续依靠政府发放的救急配给（在遭到战争蹂躏的南方，黑人和白人都有份）以及私人慈善机构的施舍为生，辅之以行窃。地方政府时常在联邦当局的支持下，针对成年黑人强行实施极严厉的制止盲流法，针对黑人孩子实施硬性规定的学徒法，还制定了其他许许多多的法规，严格控制刚刚获得解放的黑人选择工作地点和雇主的自由权。实行这些法律所带来的弊病，有时几乎达到了重新奴役黑人的地步。
多数黑人在获得解放后，依然从事当年身为奴隶时所干的那种工作。及至1890年，仍有半数以上的黑人在务农，另有30%以上的黑人充当家仆。在最南部的几个州从事农业的黑人比例甚至还要高。在那些为数极少的不住在南方的黑人当中，受雇为别人做家务事的占60%以上。黑人充当专业人士是罕见的--仅占黑人工人总数的1%。
然而，从另一个方面来看，工作模式也确实在发生变化。许多结了婚的黑人妇女，现在待在家里照料孩子，而不到田里或白人家里去干活了。这使得南方那些失去了一大批家奴的白人感到惊愕和恼怒，这充分表明白人低估了家庭生活对黑人的重要性。
大多数从事农业的黑人是农业工人，虽然也有相当一部分黑人是租佃农场主。后者以现金或部分谷物完租。刚摆脱奴隶制时，黑人大体上都是一文不名的，所以也就没有必要的现款来支撑自己度过庄稼收割之前的整个生长季节，因而只好依靠向白人老板、土地所有者及店主（三者时常是同一个人）借贷食物用品，以便坚持到庄稼收获期。对某些战后的黑人来说，这就意味着掉进了还不清的债窝里，实际上处于一种债务劳役的状态。此种情形在十分贫困的从事农业的人民当中尽管也属普遍现象，但对黑人来说，问题就变得更为严重，因为他们曾长期生活在奴隶制之下，缺乏妥善安排家计或管理日常生活的经验，并在那种制度下形成了粗心马虎、缺乏远见及依赖白人等不良习惯。奴隶长期来做事粗心大意，不注意节约奴隶主发给他们的食物、柴火、衣服和其他生活必需品，而且会把主人家庭成员丢弃的一些小件奢侈品拣起来当做宝贝。根据自家的经济状况来决定必需品和奢侈品的取舍，是世界上其他各族人民普遍的常识和习惯，然而美国黑人奴隶在几个世纪当中对这一点却不曾体验过。美国黑人在刚刚摆脱奴隶制初期所形成的那一套习俗、价值观念和行为模式，在后来的漫长岁月里，由于获得了新的经验和不同的视角，也慢慢地发生了变化。但是，他们也和其他种族一样，并非所有的人都能立刻适应新的现实，而且多年来，不同的人适应现实的程度是各不相同的。在好几代的时间里，直到20世纪，世代的黑人领袖自己都曾反复抱怨本族一些人浪费挥霍和目光短浅。
在南北战争刚刚结束时，黑人处于贫困境地，这不仅由于他们在学习安排自己的生活方面存在着诸多困难，还因为他们普遍是文盲，从而使白人老板和店主有机可乘，在提前好几个月把衣食和其他物品赊销给黑人时对之进行欺诈。南北战争宣告结束时，刚获得自由的黑人是如此缺乏经验，又是如此地易受欺凌，以致某些白人竟能对他们封锁《解放奴隶宣言》，继续把他们当做奴隶使用。
不管老板和店主的这些诈骗行径是何等可恶，这些人后来还是发现自己遭到了黑人工人和顾客的唾弃。正如一位黑人在1866年所言：“他们可能会骗走贫苦黑人一年的劳动成果，但不管他们怎么搞，黑人却获得了一年的经验……”尽管黑人不会读书写字，也不会算账，但遇有亲友在别处混得不错时，他们能分辨出这与白人老板的态度有关。白人也就在黑人当中获得了或好或坏的声誉。白人于是很快意识到，从长久的利益出发，好声誉是他们一项必须加以维护的重大资本。由于商店鳞次栉比，许多土地所有者又急需劳力，所以即使是一个字不识的人，也有机会作出自己的选择。黑人有了流动性，白人土地所有者也只好走出家门，骑着马，四处招收黑人工人。
在南北战争后的几十年里，黑人品行的不断变化反映在他们与白人经济关系的不断变化当中。作为工人，黑人在奴隶制度之下没能养成多少个人责任感。当初在奴隶当中，缺乏主动性，劳动时偷闲躲懒，半途而废，动辄旷工，糟蹋农具和设备等，都属普遍现象，而且并没有随着解放的到来而一下子消失。南北战争刚结束时，白人曾试图在劳动管理方式上下工夫，来对付黑人的不良习惯，有的白人当时甚至主张继续保留其对黑人劳工和佃农的体罚权。但是，由于白人土地所有者为寻找劳工和佃农而在相互之间形成经济上的竞争压力，也因为黑人对体罚不甘示弱，竭力进行反击，所以这一主张很快就被废除了。也曾尝试过由白人充当监工头，让黑人集体干活的办法，一如在当初奴隶制时那样，但是黑人只要有机会，一定挑选其他形式的劳动制度。到1880年，集体干活的制度就寿终正寝了。
黑人佃农的工作，起初曾由白人农场主加以严密的督导，甚至被置于向其贷款的店主的监视之下。但是随着黑人逐步获得更多的管理自己农场的经验，他们也就开始获得了自决权和独立性。黑人佃农得到作物收获的份额呈现出逐年增加的趋势。到1880年，浮动租额制开始被固定租额制所取代。固定租额制规定佃农向白人土地所有者缴纳固定数量的现金或谷物，黑人佃农不再与白人共同管理农场或分担风险。到1910年，大约有1/4的黑人农场主是土地所有者（或购买者）而非租借者。这一切都不是自动发生的。它们反映在务农的黑人当中，责任心和技能水平在日益上升（尽管还不算高），以及由此而出现的对黑人劳力需求的增长。
有了工资，分得了谷物，黑人的日子开始好起来。南北战争刚结束时，大多数黑人仍然住在当奴隶时住的小木棚里，室内是泥地，没有地板。几乎没有谁见过黑人家里的窗户是玻璃的。渐渐地，小木棚被木板房所取代，泥地也换上了木地板，而到了19世纪末20世纪初，窗玻璃也出现了。此时黑人的房舍一般仍没有水暖设备，矮小而拥挤，并且--几乎无一例外--很脏。在1896年，城市的黑人每家平均有3间住房，这在那个时代对于人口多的家庭来说，算是拥挤的，但与同期纽约的意大利人或犹太人相比，还算宽敞。
在战后时代，南方白人雇主和土地所有者曾企图联合起来，以便压低他们不得不给予黑人的工钱及自决权。然而，尽管白人有经济实力、政治强权及组织优势，但他们为限制黑人而达成的这些协议，在竞相争着雇用劳动力和交谷佃农的情况下，屡屡遭到失败。在19世纪最后的30多年里，黑人收入的增长比率超过了白人。
歧视黑人就业的形式，通常表现为在各种各样收入丰厚的职位上拒绝雇用黑人，而不表现为同工不同酬。在19世纪和20世纪之交，仅以现金工资额而言，南部各州白人领到的工资，平均比干同一工作的黑人要高出8%，但黑人往往还能拿到实物报酬。当白人和黑人都以现金形式领取工资时，二者的收入大体上来说并不存在差距。
政治
