宗尤其欣赏王以文，将其名字“凤冈”改赐为“以文”，并劝其出仕。但王以文依然期望能回到明朝，不愿当朝鲜的官，以“国仇未报之前，敢为贵介乎”拒绝“孝庙命筑诸公室于朝阳楼南墙外，厚赐衣食以居之，将与义师而有录用之意。每令诸公入侍，上曰：'自在沈也，既共患难，岂不欲与国同休戚乎？公对曰：'国仇未报之前，敢为贵介乎？辞不受”。心胸宽广的孝宗不但不生气，反对王以文等人愈发敬重，命他们组织在朝鲜的明朝遗民，积极练兵备战，并对他们的生活加以关照。不料，壮志尚未酬，孝宗竟已仙去。他的逝世导致北伐中断，王以文等明朝遗民陷入孤立而只能自谋生路。孝宗死后，王以文绝食，每到明朝崇祯皇帝和孝宗的忌日，就独自前往深山痛哭，此后更是置家中生计于不顾，像屈原般在彷徨中度日。
“先生日夜悲嚎，能挽回大明国运、保全中华衣冠乎？亦或能完成孝宗大王遗愿、北伐清虏乎？”正哭得厉害，身后忽然出现一人，语带讥诮。
“鼠辈焉敢欺吾？”王以文大怒，抽出袖中短刀，回望来人。仔细一瞅，楞住了，来的却是老熟人、另一位明朝遗民李应仁。李应仁是明朝名将李如松之孙，在清兵入关后，义不剃发，与从弟李成龙李如松弟李如梅之孙一同脱身东去朝鲜。他们与随龙八姓一样，来到朝鲜后仍自称是明朝之臣，拒绝朝鲜授予的官职并坚持使用汉语。二李的好友、宋朝大学士胡安国第十五代孙胡克己亦来朝鲜定居，将保全中华衣冠视为自己的终身职责，带着全族坚持在带有“明”字的地方或与故国临近的咸镜道一带聚居生活。不过，与其他明朝遗民不同，李氏在朝鲜拥有大量的亲戚。当年李如松东征时与朝鲜女子所生子女均留在朝鲜，朝鲜对在壬辰倭乱中救援过自己的东征将士后裔、尤其是李如松的后裔格外照顾。按传统，庶孽只能担任一般的中下层官吏、不能参加科举。李如松的朝鲜妾室所生子女应属庶孽，但朝鲜对待李如松后裔并未采用庶孽一说，李氏族人有不少在朝鲜为官。所以李应仁、李成龙逃到朝鲜后，得到亲戚们的大力资助，日子比其他明朝遗民好过很多。其他的明朝遗民在孝宗时大多被编为隶属于五军营之一训练都监的牙兵。因为这些明人内心深处并不认为自己是朝鲜人，所以在朝军中受到歧视，经常在军事训练时扮演倭兵，好在孝宗待他们还不错，从宫中用度中挤出体恤银钱充作军饷，日子倒也过得。可显宗继位后，待这些明朝遗民的态度便差了许多，解散了汉人牙兵，大量遗民陷入生活无着的窘境，很多人不得不逃到下三道忠清道、全罗道、庆尚道捕鱼为生。
“怎么？兄长是来看吾笑话的吗？”王以文冷哼，心中却暗藏惊雷，直觉告诉他，李应仁绝不会无缘无故地找他，看来有大事要发生！
“呵呵，贤弟，别在这里哭孝宗大王了。汝若真的想告慰孝宗大王在天之灵，便随吾一同去商议联卫伐清之事”，李应仁大笑。
“联卫伐清？”王以文尚未明白过来，便被李应仁拉着来到邙山附近的一座山洞中。山洞内，胡克己、李成龙二人已等候多时。
见李应仁拉着王以文过来，胡克己眼睛一亮，先施了一礼，笑呵呵地说道：“请恕吾等冒昧，今日请王贤弟前来是有一件天大事要商议”。胡克己的祖上是宋朝的大学士，本人却以经商为生，交际广的他总能弄到朝鲜紧缺的丝绸、茶叶、瓷器等货物，甚至能转卖到日本，所获巨大。因为经常仗义疏财、接济明朝遗民，在遗民中极有威望。
王以文眨了眨眼睛，缓缓开口，“来前李兄跟吾说了一嘴，说是诸位欲促使朝王联卫伐清。在下有三点疑惑：其一、卫国乃是蒙古人所建，亦属胡人，联卫伐清于我汉人有何益处？其二、吾等不过是亡国之人，如何能联络得上卫国？其三、如何促使朝王答应？”
“贤弟有所不知，那卫国的莲大可汗是个开明的君主，卫国境内各族平等，不用剃发易服，在卫军占领区，吾汉人已经全部恢复了汉家衣冠，助卫伐清非是为了卫国，实是为复华夏耳！且清军若败，南方的我朝义军便可趁时而动，恢复大明亦未可知”，李成龙兴奋地解释，见他听得认真，又加了一句，“至于联络卫国和促使朝王答应二事嘛，胡兄说他有办法”。
胡克己闻言呵呵一笑，“实不相瞒，吾已做了卫国的官，如今是乌衣卫朝鲜百户长，卫国联朝抗清的使臣如今正在汉城，联络卫国一事，诸公不必担忧”。
“什么！胡兄，汝是大明的臣子，怎可做卫国的官员？”三人大惊。胡克己却朝三人拱了拱手，“人各有志，吾之志向与三位不同。三位以恢复大明为己任，吾却以保全中华衣冠为终身之责。既然卫国朝廷允许汉人着汉服，做卫国的官儿也未尝不可”。
王以文叹了口气，“难怪战争频繁，胡兄却有能力弄到紧俏的物品，原来是乌衣卫的手笔”。
“吾虽做了卫国的官，心中却并未忘记大明，这些年带着全族在与故国临近的咸镜道一带生活，便是证明。只是大明已经亡了，汉人的根却不能断。卫主仁慈，既不剃发易服，也不跑马圈地，更没有什么追捕逃人，吾做卫国之官、助卫抗清，非是为自身荣华富贵，而