王文韶自己知道，在旁人看来，他是属于恭王一系的。这还不要紧，坏事的是，他又被看作总理衙门一派，接承了沈桂芬的衣钵，在主战的清流，便认为他难逃媚洋误国的罪名，自然深恶痛绝，必欲去之而后快。
转念到此，又找出张佩纶参他的折底来看，其中有一段话，便益具意味了：
“恭亲王辛苦艰难，创立译署，文祥以忠勤佐之，中兴之功，实基于此。而其时风气未开，人才未出，洋情未尽得，军务亦未尽竣，文祥赍志以殁；不幸而丁日昌、郭嵩焘辈出，以应付之术，导沈桂芬背恭亲王、文祥卧薪尝胆之初心，而但求苟且无事。于是人人争诟病译署，而外夷乃日益骄矣！比来夷焰稍熄，其机可以自强，而老成渐衰，其势亦不可以自恃。两府要政，悉恭亲王主持，近以五十之年，久病未愈，必调摄得宜，始能强固；故译署之任，宜有重望长才，共肩艰巨，与枢廷旧臣，合谋协力，乃足使天下省事，而恭亲王省心委之文韶，其能胜任愉快乎？”
看到这里，王文韶深为失悔，早不见机，原来清流亦有在“译署”——总理各国事务衙门一献身手的雄心。倘或当初保荐张佩纶之流在总理衙门行走，或者遇有重要洋务，类似对俄交涉中，让张之洞参预那样，请派此辈会同看折，又何致于会有今日纠缠胶葛，难解难分的局面？
于今一切都晚了，只有李莲英“该走走太平湖的路子”那句话比较实在。
要走醇王的路子，最适当的莫如重托翁同和。出京以前，跟他原曾有过一番长谈，翁同和的短处是不甚肯担责任，长处是在谨密小心，托他不一定管用，但决无泄密坏事之虞，大可试上一试。
于是，他亲笔写了一封很恳切的信，派专差送至京里。翁同和接信并无表示，他倒是有心帮王文韶的忙，但跟李莲英的态度一样，要“等机会、看情形”，而眼前的情形，对王文韶是更为不利了。
这一个月，京里大出参案。首先是阎敬铭参奏户部司官出身，外放为藩司道员的三个汉人，一个旗人，他们的姓氏是姚、杨、董、启，以前在户部素有“四大金刚”之称。阎敬铭的折子中说：“苞苴暗昧莫明，往事尤难根究，臣亦不知其现时居官若何？而外则表率属员，内则关系部习，似此久著贪劣，难谓既往不究”，因为“既公论之佥同，即官箴之难宥”！所以请旨将此辈“一并罢黜，更不准其潜来京师居住，免致勾结包揽，诱坏仕风。”最后更申明立场：“臣职非纠弹，而忝领度支；此之不劾，无以肃部务而儆官邪！”
折子发到军机，宝洌紫却笠∑渫罚骸凹韧痪浚肴宋啤Ｕ庋幼匪撸叶际俏薷挠未剩绻踩险嫒グ欤蚍兹乓劣诤祝俊薄�
当然，“四大金刚”盘踞户部多年，宝洌日苹Р浚罄匆源笱俊肮懿俊惫艿囊嗍腔Р浚灿卸嗄辏吹秸飧稣圩樱圆幻獯绦摹４送馕掏途醯盟喂诳帐瑁俗嬉袢衔志疵伲鹊么友矍白銎穑灰俗仿奂韧Ｋ闫鹄矗蟪贾兄挥幸桓隼詈柙澹匝志疵С滞榈奶取！�
但是，慈禧太后很欣赏阎敬铭的这个折子，“这才是破除情面，这才是实心办事。”她说，“好些人当我心慈，不会给人下不去。”又说，“三品以上的官员，放缺都先召见过，意思是我手里用的人，我自己再把他们打下去，岂不伤知人之明？这些话都错了！国家不是家务，不能感情用事，不然一定糟糕。我自己觉得这一层上头，我最拿得稳。施恩是施恩，办事是办事，如果觉得自己所喜欢的人，就都是会办事的人，那就错到极点了。我两个兄弟，自然是我喜欢的，但是他们无用，我就不能让他们负大责任。阎敬铭，我并不喜欢，然而他的说话行事，真是行得正、坐得正，我不能不听他的。这个折子，当然要准，他是为了整顿户部，朝廷准了他的办法，他再做不好，那时候自然可以问他。”
于是“四大金刚”，落了个“均着革职，即行回籍”的处分。
再一件案子就跟王文韶直接有关了。张佩纶先以云南报销案，户部堂官自请处分，认为避重就轻，据实纠参，接着是吏部议处，罚俸一年，认为处分不当，以都察院堂官之一的身分，拒绝在奏折上列名。
当阎敬铭奏报云南报销案核算结果，“含混草率”，参劾承办司官时，景廉和王文韶以“失察”自请处分，张佩纶就上奏抗争，认为景、王是避重就轻。及至吏部议奏罚俸一年，他又认为处分过轻，不肯会衔出奏，同时上折说明缘由，要求加重处分。慈禧太后因为这一案已交刑部查办，一事不两罚，所以反倒搁置了。
此外邓承修参了左副都御史崇勋、巡视东城御史载彩，奉旨查办属实，分别革职。还有个与邓承修齐名的刘恩溥，直隶吴桥人，官居浙江道御史，专好找旗人的麻烦，奏谏措词有东方朔之风。曾有一个“黄带子”在皇城内设赌局，为讨赌债打死了一个以赌倾家的旗下世家子，暴尸城下，无人过问。刘恩溥上疏，说这个黄带子“托体天家，势焰熏灼，以天潢贵胄，区区杀一平人，理势应尔，臣亦不敢干预。惟念圣朝之仁，草木鸟兽，咸沾恩泽，而此死者，尸骸暴露，日饱乌鸢，揆以先王泽及枯骨之义，似非盛世所宜，合无饬下地方官检视掩埋，似亦仁政之一扬。”词意若嘲若讽，以扬为抑。那时是慈安太后听政，降旨查办，革了那个黄带子的爵位。“刘都老爷滑稽”的名声，就此盛传九城。
“刘都老爷”这回找上了穆宗的老丈人，蒙古状元崇绮，他是奉天将军，府尹叫松林，一般颟顸无能。刘恩溥将他们两个一起参，其中的警句是：“将军崇绮，除不贪贿外，则无所长；府尹松林，除贪贿外，亦别无所长。”奏折发抄，喧传人口。但真正的新闻是宝廷的自劾。大年三十有一道上谕：“侍郎宝廷，途中买妾，自请从惩责等语。宝廷奉命典试，宜如何束身自爱？乃竟于归途买妾，任意妄为，殊出情理之外。着交部严加议处。”
宝廷已经回京，新年中往还贺节，少不得有好事的人问起，宝廷并不讳言，而且唤他的新宠出来见客。这是个长身玉立的美人，芳名檀香，可惜有几点白麻子。
宝廷一向风流放诞，这一次的“途中买妾”已是第二回，头一回是在同治十二年。
同治十二年乡试，宝廷放了浙江的副考官。考官入闱之前，国防严密，摒绝酬酢，出闱以后就轻松了，尤其是乡试，闱后正是“一年好景君须记，最是橙黄菊绿时”。浙江巡抚杨昌浚作东，请正副考官徐致祥和宝廷去游富春江，访严子陵钓台的古迹，坐的是有名的“江山船”。
这“江山船”从明初以来，就归“九姓”经营，叫做“九姓渔户”。明载大清会典，元末群雄并起，明太祖大败陈友谅于鄱阳湖，他的部下有九姓不肯投降，远窜于浙南一带。明太祖为惩罚叛逆，不准他们在岸上落脚，因而浮家泛宅在富春江上，以打渔为生，九姓自成部落，不与外人通婚。
水上生涯，境况艰苦，打渔以外，不能不另谋副业，好在船是现成的，不妨兼做载客的买卖。严子陵钓台所在地的“九里泷”一带，风光胜绝，骚人墨客，寻幽探胜，自然要讲舒服，所以“江山船”也跟无锡的“灯船”，广州的“紫洞艇”一样，极其讲究饮馔。久而久之，又成了珠江的“花艇”，别有一番旖旎风光。
江山船上的船娘，都是天足，一天两遍洗船，自然不宜着袜，跟男子一样，穿的是浅口蒲鞋，但制作特别讲究，鞋头绣花，所以浙江人称这些船娘，叫做“花蒲鞋头”。
宝廷是旗人，喜欢天足女子，所以一上了江山船便中意。那只船的“花蒲鞋头”名叫珠儿，有旗下大妨娘的婀娜，兼具江南女儿水样的温柔，宝廷色授魂与，将量才的贽敬，作为藏娇的资斧，量珠聘了珠儿。只是这桩韵事，既玷官常，亦干禁例，所以跟船家约好，他自己由旱路进京，船家自水路送珠儿北上到通州，再由他出京来接。结果人船俱杳，是根本不曾北上，还是中道变计，化为黄鹤，根本无法究诘。更无法报官，算是吃个极大的哑巴亏。
这一年典试福建，闱中极其得意，解元郑孝胥的诗笔，更为他所激赏。带着门生的诗卷，取道浙江，由蒲城到衢州，归浙江的地方官办差，坐的自然是江山船，便遇见了这个长身玉立，有几点白麻子的檀香，纳之为妾。
由于上一次的教训，宝廷这一次学得乖了，江山船到了杭州，另外换船循运河北上，带着新宠一路同行。不过也不便明目张胆地同舟共宿，变通的办法是，自己坐一号官船，另外备一条较小的船安置檀香。一大一小两条船，衔尾而行，到了海宁地方遇上了麻烦。
麻烦是派在小船上照料的宝廷的听差自己找的，办差的驿丞不知道这条小船也算“官船”，不加理睬。那听差仗着主人的势，大打官腔，彼此起了冲突。等宝廷出来喝阻时，驿丞已经吃了亏回衙门申诉去了。
海宁知州是个“强项令”，闻报大怒，料知宝廷自己不敢出面来求情，便下令扣留小船。说主考回京复命，决无中途买妾之理，冒充官眷，须当法办。
这一下宝廷慌了手脚。他也知道平日得罪的人多，倘或一闹开来，浙江巡抚据实参劾，丢官还丢面子。倒不如上奏自劾，还不失为光明磊落。
打定了主意，上岸拜客，见了知州，坦率陈述，自道无状。海宁知州想不到他会来这么一手。到底是现任的二品大员，不能不卖面子，不但放行，还补送了一份贺礼。
宝廷倒也言而有信，第二天就在海宁拜折，共是一折两片，条陈福建船政，附片保举福建乡试落第的生员两名，说他们精通算学，请召试录用。这都是表面文章，实际上另外一个附片，才是主旨所在。
附片自劾，亦须找个理由，他是这样陈述：“钱塘江有九姓渔船，始自明代。奴才典闽试妇，坐江山船，舟人有女，年已十八。奴才已故兄弟五人，皆无嗣，奴才仅有二子，不敷分继，遂买为妾。”又说：“奴才以直言事朝廷，层蒙恩眷，他人有罪则言之，己有罪，则不言，何以为直？”
象这样自劾的情事，慈禧太后前后两度垂帘，听政二十年还是第一遭遇见，召见军机，垂问究竟，没有人敢替宝廷说话。李鸿藻痛心他为清流丢脸之余，为了整饬官常，更主张严办，因此交部议处的逾旨一下，吏部由李鸿藻一手主持，拟了革职的处分。
这是光绪九年正月里的一桩大新闻，其事甚奇，加以出诸清流，益发喧腾人口。当然，见仁见智，观感不一，有人说他名士风流，也有人说他儇薄无行。已中了进士的李慈铭，除去张之洞以外，与李鸿藻一系的人，素来气味不投，便斥之为“不学”，而且做了一首诗，大为讥嘲，用的是“麻”韵：
“昔年浙水载空花，又见船娘上使槎。宗室一家名士草，江山九姓美人麻。曾因义女弹乌柏，惯逐京倡吃白茶。为报朝廷除属籍，侍郎今已婿渔家。”
这首诗中第二联的上句，用的是弹劾贺寿慈的故事，下句是说宝廷在京里就喜欢作狎邪游。这是“欲加之罪”，宝廷处之泰然，但檀香却大哭了一场。说起来是为了“江山九姓美人麻”的一个“麻”字，唐突了美人，其实别有委屈。宝廷虽一直是名翰林，但守着他那清流的气节，轻易不受馈遗，所以也是穷翰林。不善治生而又诗酒风流，欠下了一身的债。债主子原以为他这一次放了福建主考，是文风颇盛而又算富庶的地方，归京复命，必定满载而归。谁知道所收贽敬，一半作了聘金，一半为檀香脂粉之需，花得光光。
如果宝廷还是侍郎，倒也还可以缓一缓，不道风流罪过，竟致丢官，债主子如何不急？日日登门索债，敲台拍凳，口出恶言。檀香见此光景，不知后路茫茫，如何了局，自然是日夕以泪洗面了。
宝廷却洒脱得很，虽革了职，顶着“宗室”这个衔头，内务府按月有钱粮可关，本旗有公众房屋可住，便带着两个儿子，携着“新宠”迁往西山“归旗”。山中岁月，清闲无比，每日寻诗觅句，他那部题名《宗室一家草》的诗稿，亦经常有人来借阅，最令人感兴味的，自然是那首《江山船曲》：
“乘槎归指浙江路，恰向个人船上住。铁石心肠宋广平，可怜手把梅花赋；枝头梅子岂无媒？不语诙谐有主裁。已将多士收珊网，可惜中途不玉壶。”
但最后自道：“那惜微名登白简，故留韵事记红裙”，又说：“本来钟