吕布随后又被负责招贤馆的陈琳拦住，陈琳一定要让吕布去会见最近一个月内投奔中央军的贤才。
吕布那求贤似渴的名声已经响彻整个大汉，他不能自己砸自己的招牌，便跟着陈琳去了招贤馆。
历史上，东吴孙权设立招贤馆，命顾雍、张纮延接四方宾客，得到会稽阚泽、彭城严畯、沛县薛综、汝阳程秉、吴郡朱桓、陆绩、吴人张温、乌伤骆统、乌程吾粲等人，这些人都为东吴的兴盛立下汗马功劳。
吕布有念于此，便在邺城设立了招贤馆，让擅长待人接物的陈琳负责。
陈琳此时虽然兼任少府，但少府的权力已经被下面那些太医令、太宫令、太史令、尚方令等令、丞分担，陈琳每天要做的事情很少，吕布便让他兼管招贤馆，好发挥他巧舌如簧、长袖善舞。招贤馆不单只是接待四方投效人员，还负责起草招贤布告、处理往来函件，正好可以发挥陈琳的文采。
这招贤馆名义上是朝廷设立的，所以让九卿之一的陈琳负责，也不会遭人非议，实际上这个招贤馆里的所有英才都会预先被吕布中央军甄选一遍，然后才把剩下的交给朝廷其他各司衙门。
招贤馆靠近邺城南门，共有十个院落，每个院落都有三层小楼，整个招贤馆总共能够容纳三百多名贤才居住。
吕布在外作战了将近一个月，在这一个月里陆续投奔的贤才足有五六百人，有些是吕布慕名已久，并派人征召的，这样的人很少；有些是没什么名声，却对自己才能很有信心，揭了吕布的招贤榜的。
当然也不排除有些招摇撞骗的，但吕布深感孟尝君得鸡鸣狗盗之辈相助、信陵君得侯嬴朱亥佐助的礼贤下士的典范，不再重蹈曹操错过张松、孙权错过庞统、刘备差点错过庞统的错误，便在领兵作战之前一再叮嘱陈琳，莫要轻视任何前来投奔的贤才，只要他能展露才能，不管是什么样的才能，都要让他住在招贤馆里，等待吕布回来面试。
吕布知道来了五百多贤士，心里甚是高兴，笑着对陈琳说道：“揽天下英才而为我用，何愁大业不成！”
陈琳却苦着脸说道：“主公，来得多是无名之辈，主公之前在洛阳派人征召的贤才大部分都拒绝前来。”
吕布非常平静地问道：“在洛阳的时候，我声名不显，没有多少贤才投奔是可想而知的，我们到了邺城以后，我大破白波贼、南匈奴、黑山张燕、黑山于毒，名声逐渐响亮起来，又有太傅卢植、太师蔡邕、太保马日磾、司徒杨彪、太尉刘虞、司空刘弘、尚书令黄琬、凉州牧皇甫嵩、并州牧朱儁为我盟友，慕名而来的贤才应该多起来才是啊。”
陈琳依然苦笑道：“主公说的没错，我们在洛阳的时候过于乐观，派了一些普通士卒前去征辟那些贤才，那些贤才多说‘未闻世上有吕布’而拒绝了我们，愿意来邺城的张机是因为主公答应委任他为太医令，华佗前来邺城是抱着跟张机竞争的心态，满宠则是因为跟郭嘉、徐晃有交情，真正因为我们的征召书信而来的没有一个！我们到了邺城，派出文吏前去征辟，并一一许诺官职，这才勉强招来了几个，还有十几个正在路上。”
吕布心里狂受打击，面上表情还依然是那么平静：“呃，你先告诉我，到底是那些人不肯前来？！”
陈琳看吕布表情如常，以为吕布心境好，先说了一下豫州的贤才：“豫州的许褚、刘馥拒绝前来。”
吕布皱起眉头，甚是不解地问道：“许褚、刘馥为何不愿前来？！”
陈琳摇摇头：“许褚乃是谯县豪强，许家宗族壮丁足有五千多人，还修筑了坞堡。两年前，汝南葛陂贼兵有二万多人前去攻打许家坞堡，许家箭矢用完了，许褚便让许家老少男女都去搬来石头往坞堡外面砸，贼兵不敢靠近。贼兵围困坞堡多日，堡内粮食将尽，许褚便假意与贼请和，商量用牛换取粮食，贼兵把牛牵走后，牛又跑了回来，许褚便去阵前，拉着牛尾行走百余步，贼兵大惊，不敢再来取牛，从此淮、汝、陈、梁之地，听到许褚之名便深感畏惧。许褚还蓄养了数百侠客，纵横豫州，无人敢当。
许褚有赖于此，当我们第一次前去征召，他便说大大咧咧地说，从来没听过天下有个吕布。我们第二次又派人前去征召，他说许家宗族皆不愿远离故土，等吕布那天打过来了我再投不迟！”
吕布很欣赏典韦，因为典韦是一个呼啸山林快意恩仇的独行侠，与之相反，吕布有些讨厌许褚，也许就是讨厌他是拥兵一方的地方豪强，就是因为这些拥兵自保又自相残杀的地方豪强，人数居多的汉人才打不过人数稀少的五胡，像许褚这种地方豪强，往往会在胡人打过来的时候投降做汉奸，无论是五胡乱华时期，还是北宋末、南宋末、明末、民-国时期，概莫能外，君不见抗日战争时期那些二鬼子汉奸大多都是地方土豪演化的。
吕布讨厌许褚，更因为他在那段历史上是曹操的忠狗，是一个很胖的忠狗，算是自己的宿命仇敌之一，当然吕布现在讨厌许褚的原因是两次都不给自己面子，非常粗暴冷淡地拒绝了自己的征召。
吕布冷笑道：“等我打到谯县，早已猛将如云，兵强马壮，手下已有黄忠、典韦、王越、赵云等盖世猛将，我又何必再用许褚，再去容忍许褚那个独立坞堡的存在？！许褚，从你第二次拒绝我吕布，你的头已经不属于自己了！”
陈琳见吕布的脾气开始发作了，心里一惊，犹豫着不肯往下说。
吕布哈哈大笑道：“孔璋，这些人不来投奔我们，反倒让我觉得有些意思，无敌的日子实在太寂寞了！
对了，那个刘馥为何拒绝我？！”
陈琳道：“那个刘馥，乃是宗亲之后，第一次说从未听过主公的名字，第二次则干脆避而不见。”
吕布对这个空有治政能力却无眼光惨被曹操刺死的刘馥再无兴趣，淡淡笑道：“说说紧靠冀州的兖州那些人才，我估计除了满宠之外，其他人都不想过来投奔我吧！”
陈琳苦笑着点点头：“主公，您说得很是，程昱、李典、吕虔、毛玠、梁习都拒绝了，哎，漏了一个，阮瑀来了。”
吕布无奈地摇摇头：“让我猜猜，阮瑀前来多半是看在他恩师蔡太师邕的面上吧！”
阮瑀，字元瑜，陈留世家阮氏子弟，是历史上著名的建安七子之一，年轻时曾拜蔡邕为师，因得蔡邕指点，文章写得十分精炼，闻名于当时。历史上，曹操闻听阮禹有才，为搜罗人才，召他做官，阮禹不应，后曹操又多次派人召见，匆忙中阮禹逃进深山，曹操不甘心，命人放火烧山，这才逼出阮禹，勉强应召。由于阮禹多次辞官不做，曹操在一次大宴宾客时，把他安排在乐队之中，想煞一下他的傲气，不想阮禹精通音律，即兴抚弦而歌：“奕奕天门开，大魏应期运”，一方面歌颂了曹操的事业，另一方面也表达了自己愿为曹操效忠的思想。曹操听完，大为高兴，请他做司空军谋祭酒。从此以后，曹操军中檄文多出于他和陈琳之手。建安十六年，阮禹随军西征关中，曹操请他代笔写一封书信，他骑在马上沉吟片刻，挥毫点就，呈给曹操，曹操提笔想作些修改，竟不能增损半字。
在历史上，阮瑀的儿子比他有名的多，他儿子叫做阮籍。
陈琳苦笑道：“主公所料甚是。”
吕布脸上勉强露出一丝笑容：“阮瑀现在何处？”
陈琳指了指远处的蔡邕府邸：“阮瑀现在他恩师的府邸做客。”
吕布刚才去蔡家吃了一个闭门羹，一时片刻也不想再去被蔡老头冷遇，便对陈琳说道：“你派人看着太师府，阮瑀出了太师府，若是回来招贤馆便好，若是他强行离开邺城，你要赶快派人把他拉到招贤馆，由我说服他加入中央军！”
那段历史上，曹操如日中天的时候，阮瑀还不肯为他效力，吕布也不能肯定阮瑀会看在恩师面上为自己效劳，这个家伙跟那个司马懿一样，都非得曹操下死命令威胁才肯出来效力，他若不肯为吕布效力，吕布也想试试曹操的手段。
吕布又问道：“那个吕虔，我愿跟他结为同宗兄弟，他却为何拂我一片好意？”
陈琳说起吕虔，亦止不住满腔的忿恨道：“这个吕虔实在可恨！他竟然说，寒门破户之子，安能为我兄！”
吕布怒极反笑道：“好一个吕虔！他如此看重家世，看样子他是世家子弟了？！”
“吕虔所在的吕家乃是兖州任城的世家大族，吕虔家有四千多家兵，横霸一方，堪称任城的土皇帝。”
吕布冷冷一笑道：“靠血统继承来的数千家兵算得了什么，敢比我白手起家创立的中央百万大军吗？吕虔，既然你不想成为我吕家人，那你就给我从人间消失吧！”