华山派的众弟子早就说到了洛阳城后，要让林平之带着去当地的名胜古迹转一转。岳灵珊见到令狐冲一天比一天自暴自弃，一天比一天憔悴，哪有心情出去玩。不过众师兄弟们说如果她不去的话，他们也都不去了，谁叫大家都是从小哄小师妹哄习惯了，多数玩的时间都是在围着她转呢，她不想扫大家的兴，就打算和他们的去平泉还有龙门石窟看一看。
临出门之前，陆大有看到岳灵珊角的眼色，立刻会意，去问令狐冲要不要一起去，却再次遭到大师哥的拒绝。
岳灵珊说：“陆猴儿，不要管他了，他还等着结交更加有身份地位的朋友，怎么还看得上我们。”魔教的圣姑可不是地位尊崇吗，手下的能人异士遍天下，正在洛阳的某个院子里等他呢。令狐冲就像是早有预料一样，偏偏在这个时候跟她要闹绝交。岳灵珊已经想好了，如果那两人真的是天生一对，令狐冲见到任盈盈就见异思迁的话，她就成全他们。
她看向林平之说，“师弟，我们走吧。”
令狐冲见到小师妹几人头也不回地走出门，也说道：“我不去了，就算去了也只会坏了小师妹的兴致，陆猴儿，你快点去追他们吧，再等一会儿就追不上了。”
陆大有说：“大师哥，你到底在闹什么别扭啊？小师妹好不容易主动搭你的茬，你理也不理她。你是不是非要把小师妹拱手让人你才甘心，我真是越来越不明白你了，算了，我去帮你看着，我就说林平之那个小白脸要防着。”
令狐冲看了看他们离开的方向，他也不愿意在这个处处不欢迎他的府里闷着，干脆去街上喝酒赌钱，却倒霉遇上了抽老千的庄家，兜里揣着王家给的每人见面礼四十两银子输了个精光。令狐冲这才意识到不对，与那人理论，谁知那人是在街面上混久了的，一言不合就动起手来。令狐冲虽然身负着高强的剑法，却不愿意以剑伤人，而且此时他喝得醉醺醺的，提不起什么力气，被几个混混打得头破血流满脸乌青。
岳灵珊她们刚从龙门石窟回来，在大街上看见小混混打架，本来不予理会，等到人群散了，露出被打倒在地的人，才看到那是令狐冲。几个师兄弟立刻跑过去扶起令狐冲，岳灵珊则是恨铁不成钢，觉得令狐冲为了一点事就消沉落寞一直无法振作，简直是怒其不争。
她知道令狐冲一直耿耿于怀的是什么，他现在被岳不群误会，就对华山派所有人都失望，以为谁都在误会他，可是他怎么没有来问过她，就认定了她也像别人一样。他宁愿活在自己的世界中，不能振作，也不敢亲口来问问岳灵珊是否相信他。而且岳不群误会他，他不去想办法力证清白，只是在这里自暴自弃，算什么英雄好汉的所为。
令狐冲自己这样的糗样让被人看见，也是很不好意思，一直躲着小师妹的目光，觉得没面目见她。
令狐冲这一次和无赖赌博又在大街上和小混混打架还打输了，很快就在王元霸府上传开了。令狐冲回到王府中，将养了数日，这才渐渐康复。岳不群夫妇听说他和无赖赌博，输了钱打架，甚是气恼，也不来看他。
王家人本来以为令狐冲是华山派的首徒 ，武功应该极为高强，没想到他连几个街面上的小混混都打不过，简直是浪得虚名，更加瞧他不起。
林平之到了王家之后，他的外公金刀王元霸以及两位舅父自然要问他辟邪剑谱到底在哪里。如果没有这辟邪剑谱，林家也不会遭遇此等灭门惨祸。
林平之对外公和舅舅们说过，他爹娘死的时候只有大师哥令狐冲在场，就是他爹交代下来的遗言，也是大师哥转达的。王家人本来就因此怀疑令狐冲偷偷的将辟邪剑谱藏了起来。这次令狐冲和小混混打架却打输了的事儿一出，王家上下很是看不起令狐冲。林平之却说他大师哥曾经一剑刺瞎八对武林高手的眼珠，武功绝非平庸之辈。
这更是让王家人有理由怀疑令狐冲故意显得武力弱，就是为了掩人耳目，掩饰自己会辟邪剑法，不过他越是这样做，越是将他暴露了。
林平之本来从来没有怀疑过对狐冲，但是在他的外公以及两位舅父的怂恿之下，也开始怀疑令狐冲是不是真的藏起了辟邪剑谱偷偷练习，所以才得了一身奇妙的武功。林平之有一次叫令狐冲去大厅吃饭的时候走进他的房间，令狐冲不在，林平之却在令狐冲散开的包袱里面发现有一本册子。人人都知道令狐冲是最不耐烦读书，那这本书无疑只能是武功秘籍。可惜他还未来得及翻看令狐冲就回来了。林平之于是将这件事告知两位舅舅。
王伯奋，王仲强二人找机会向令狐冲发难，在令狐冲身上搜出册子。揭开那本册子，只见第一页上写着“笑傲江湖”四个篆字。王氏兄弟只粗通文墨，这六个字如是楷书，倒也认得，既作篆体，那便一个也不识得了。再翻过一页，但见一个个均是奇文怪字，他二人不知这是琴箫曲谱，心中既已认定是《辟邪剑谱》，自是更无怀疑，齐声大叫：“《辟邪剑谱》，《辟邪剑谱》！” 就算令狐冲说这根本就不是剑谱也没有用。