郝鹏举在与陈毅司令促膝长谈后，终于下定决心起义，
第三绥靖区司令冯治安对张克侠又起了怀疑，可是他又没有证据，再加上张克侠跟冯玉祥将军的连襟身份，真与张克侠彻底翻脸还是不敢。不过他又怕张克侠继续在军中生事，策反其他将领，就以临颍刚来后方的各单位需要整顿为由，把张克侠调到了临颍张克侠假意顺从，到临颍住了一个多月。
期间，他不断地跟前方的军长，师长们保持联系。而且，还有意无意地透露自己现在在临颍后方打杂，苦于报国无门。那些军长，师长们愤愤不平，集体联名找冯治安，一定要把张克侠请回来。群情汹涌，冯治安任凭怎么解释，也不能打消他们的念头。他又不能直白地说张克侠有问题。迫于无奈，他不得不给张克侠致电，让张克侠回到前线。
不过冯治安对张克侠的戒心还是没有放下，让他住在贾汪，让他住在徐州都天庙营房，照料徐州留守司令部。
为了便于与回到徐州的张克侠取得联系，中国共产党中央决定将张克侠的关系转给华东野战军委。华东军区联络部刘贯一部长，为了与张克侠能快速地互通情报，依照着党的指示特意派出了交通员。
张克侠也积极活动与59军的刘振三和孟绍濂等人讨论了目前的形势。刘振三事后与副军长李九思交代：“如果有战斗，由张副司令指挥所有行动。”
徐州是重要的交通枢纽，附近驻扎了许多部队以及后勤机关。徐州附近只要有解放军活动，徐州市内就会一片慌乱。
年10月，为了安抚人心，维持秩序，“剿总”决定成立徐州地区守备指挥部。参谋长郭汝瑰和张克侠在陆大时是同学，便向总部推荐守备指挥官由张克侠来担任。
张克侠考虑担任这个职务，很容易拿到徐州的军队情况，还可自由出入，去参谋处查看军事情报信息和军事图表，随时了解军事情况的变化，兼任这个职务也就同意了。
这段间，华东野战军经常收到张克侠派人送来的徐州军情与工事图表。而针对敌工部的工作，以及将干部打入内部，能够出入敌区的交通线和落脚点，这些工作在年秋就已经开始了。
随着时局的变化，保持与何基沣、张克侠的联系这项任务，华东局韩去非安排前线的敌工科副科长孙秉超来继续接手，联系上之后，张克侠将《徐州城防部署图》交给了孙秉超一份，说：“这份图很重要，一共做了3份，这是其中一份，非常珍贵，你一定要尽快送回去，当面交给陈毅或粟裕司令员。”这份图一共有好几张，内容有徐州详细的军情，同时，画出了火网封锁的方向和地方的工事配置情况，标有射击和封锁方向的碉堡和地堡群的结构、数量、位置、城防指挥位置等也非常清晰。
徐州的地理位置十分重要，但它的城防要图却落在了解放军手中！
徐州的市长滕杰是军统特务。他曾对张克侠吹嘘，整个徐州都在他的控制下，“哪个卧底在徐州，多年不敢活动”“又有哪个刚到徐州，就被抓住了”。说得唾沫乱飞，但他万万没想到，他自己就在“卧底”的指挥下，整个徐州都处在别人的控制之中。
年秋，粟裕提出了淮海战役，得到了批准。10月11日，毛主席指出：“从中间突破，集中兵力歼灭黄伯韬兵团，是第一阶段的重心工作”。华东军区又特地派出杨斯德在淮海大战开始之前潜入三绥区，协助张克侠进行起义。
在张克侠积极活动，准备在前线策动起义的关键时候，国防部顾祝同总参谋长代表蒋介石来到了徐州。传达蒋介石的命令，鼓舞士气，以及拉拢人心。
蒋介石对这次徐州决战非常重视。在前不久举行的南京军事会议上，他曾说：“徐州是首都的北大门，党国的存亡，就在这一战了，能不能阻止崩溃，就看接下来这三个月了。”特意在德国订造了一批剑，上面刻着“中正剑”的字样，就是为了拉拢将士们，想让他们死心塌地为他卖命，
顾祝同带着两把“中正剑”抵达徐州后，即刻安排了授剑仪式。站在将台上，将刻有“中正剑”和“民国三十七年金秋”字的两把剑，佩带在张克侠、何基沣的腰间。顾祝同拉着张克侠和何基沣说：“自古以来徐州就是兵家的必争之地，二位将军皆是虎将，校长特派属下前来赐剑，二位必能体察。”
可怜张何二人哭笑不得，区区一把剑，就想收买人心，老蒋打得主意真是妙！可是他们丝毫不敢露出鄙视的神色，毕恭毕敬的宣誓道：“誓为总裁效力！牢牢把守徐州，报效总裁一番苦心。”台下的一群官兵们也一起高呼：“愿为总裁赴汤蹈火！在所不惜！”顾祝同这才心满意足地回去向老蒋报告去了。
不过也就是这把中正剑，让张克侠从此有了“佩剑将军”的雅号，虽然他几乎没有在公共场合佩剑。
10月下旬，华东野战军各部开始向南移动，徐州外围形势日渐紧张。杨斯德得到指示：7纵、10纵、13纵从正面渡过运河，让徐州和黄伯韬的联系断开。11月8日淮海战役将正式发起，在战役打响时何、张同时起义，运河的防线同时也要放开，并控制住运河上的桥梁，以便确保我军顺利渡河。同时，还制定出了特殊沟通方式，夜晚识别标志、前进路线以及几个干部的位置，手电明灭三次，反穿棉衣，“杨斯德部队”就是起义联络口令；起义后，兵分两路展开向解放区。
杨斯德及时地向张克侠通报了解放军的指示。现在是万事俱备，只欠东风了。
11月2日，张克侠打电话到贾汪第三绥靖区前线指挥给何基沣：冯治安批准了刘振三因病要去上海的请求。在平时，倒也没什么，但是现在这个阶段，刘振三出走极有可能是他已察觉到了什么，想来他不愿意与部队行动。而且，走之前他在干部会上说过：“如果有事以孟绍濂副军长为主。”“这跟他之前的表态完全不一样，很明显，这是一种暗示，他已经改变了起义的立场。”张克侠说。
何基沣逐渐有点担忧，但他还在往好的方向想，说：“他走了，等于没了绊脚石，对起义有利！不过还是希望他只是贪生怕死而已，不会向外透露你我的计划。”
第二天，何基沣又与张克侠通电话，说起义工作可能“泄密”了，驻守在韩庄的队伍也去运河南岸了，这根本就是在预防突变。他俩决定，在运河北留一个营下来，方便接头联系必要时可带头起义。
11月5日，华东野战军通知何基沣已经确定11月8日十二点为起义时间，令人没有想到的是，枪声从团三营前响了起来，王世江发现问题，立刻让一个连长去往察一下。不久，连长竟然带回了两名解放军的战士。于是宋时轮命令王世江先一步起义。
11月6日，毛泽东为中央军委起草致粟裕、陈士榘、张震并陈毅、邓小平电：你们对冯治安部之抵抗者及游移不决者，要坚决歼灭，迅速占领徐州周边地区，对决心起义的采取超越前进方法，将他们留在后面，陈、邓对刘汝明也是一样。
此时，张克侠的处境相当微妙，困难。张克侠曾多次劝冯治安一同起义，冯治安也清楚张克侠在初期就动员过不少高级将领，所以一直有戒心，一直不让张克侠接近部队。冯治安的戒备，监视更严了，因为不久前李德全通过电台号召西北军将士起义。
这种局面下让冯治安已经不可能也起义了，而起义的时机就在眼下，必须尽快脱身，保证起义顺利。这时，战斗已经打响了，张克侠便通过何基沣及59军将领向冯提出到贾汪参加指挥的要求，冯治安全部拒绝。
张克侠对冯治安说明：“前方已经开战，我若还不到现场，如何跟总裁交代。”冯不予理睬，可是又不能单独把张克侠留在后方，不让他接触军队，不然就换成了冯治安自己无法向总裁交代了。于是他就想了个主意，名义上是讨论作战计划，实际上是困住张克侠，让他无法作为。把各军长请到徐州，由张克侠主持开会，讨论作战计划。
11月7日，在冯治安住处召开了高层会议。陈继淹参加了，冯治安有时也来听听。陈继淹表面上是参谋长，其实就是个大特务，专门负责监视三绥区的高级将领。
会议开了一天。晚上，冯治安与邱清泉等将士一同吃饭，留下张克侠与陈继淹及他的亲信继续开会。这时杨斯德来电话催促张克侠到前方去。张克侠压紧声音回说：“等开完会就立即前往。”陈继淹已经开始怀疑了，张克侠刚结束通话，他就追问是什么人的电话？
张敷衍说：“是何副司令催我到贾汪的电话，前方很紧张，要我早一点回去。”陈继淹还一副怀疑的模样，他又说：“这个时候，除了打仗，还能有什么事情。”陈继淹一听，没有继续追问下去。
8日零时会议还在继续。张克侠见脱不了身说：“我们明天再来吧，让指挥官今晚回去做足准备，继续再留在这里不合适。”多数人都同意了这个意见，会议结束。张克侠急忙回去收拾了一下行装，凌晨4时左右叫醒司机何悌修，要来一辆吉普车，带了一个随从去贾汪。
当时，徐州四周已经开始封锁，路上塞满了车辆。张克侠到栅门口时，哨兵见他身穿军服，又是高级将领，马上开门让他过去。
张克侠以为没人发现，但不知道陈继淹派人在监视他。尹心田住在冯治安的楼下。
解放后，尹心田告诉张克侠，陈继淹8日早晨去跟冯治安报告了你晚上离开是事情。没多久，尹新田看见冯治安带着武器下了楼，他就问冯治安做什么？冯治安说：“去汇报张克侠的事。”
尹治安在莫斯科时与张克侠是同学，平时关系也很好，而且早年的时候还入过党，有意想成全张克侠的行动，说：“万一出错，谁来负责，肯定会怪罪你的，最好先打电话问下张副司令在哪里。”
冯治安听后犹豫了起来，没有马上去报告，让张克侠赢得了脱险的时间。
为了稳住冯治安，张克侠去到贾汪后就打了个电话给他，说：“我到前线了，昨晚开始运河闸就遭到了攻击，我要和部队在一起。希望你也能来前线。”冯治安是不敢去前线的，干脆顺水推舟让张克侠直接在前方负责指挥。就这样，起义时间又充足了不少。
张克侠上午8时赶到贾汪。何基沣告诉张克侠说：“昨晚召开会议宣布了计划，也跟解决了一些人的疑虑。”最后，大家决定8日中午出发，到台儿庄集合。无线电台及电话已经被通信官樊云门控制了。
9日这天，大部队路过台儿庄，知道他们是起义部队后，便没有停留继续前进。
国民党徐州“剿总”得知，华东野战军第一、四纵队在起义当天从台儿庄附近的万能闸渡过运河，惊惶万状，为了巩固徐州，立即让各兵团向徐州收缩。
据张克侠回忆：这场起义毛主席非常重视，一再嘱咐有消息立马拿给他。从8日下午就开始问电报来了没有。由于通讯故障，直到9日下午4时左右，电报才送到，毛主席接到电报后，直接去到周恩来办公室，对他说，起义成功了，淮海战役又多了一分胜利的把握。
11月11日，毛主席亲自写了给各将领的电报：冯治安集团何基沣、张克侠两位同志已经成功起义，黄百韬也被包围了，李弥兵团撤回了徐州，蒙城孙元良兵团11日调回宿县，“接下来，只要黄百韬、孙元良两个兵团被你们成功歼灭，宿县与徐蚌段的铁路就能成功占领，徐州就会处于包围中，就可以准备第二步歼灭邱、李，夺取徐州。”
朱德曾高度评价这次起义，认为对战局影响很大，让敌人的计划大乱。后来粟裕也说：“我的部队要是在贾汪浪费上几个小时，黄百韬可能就回到徐州了，到那时候战局可就不同了。”
之后，起义部队被改编成两个军——59军和77军，张克侠任59军军长。年1月10日，淮海战役结束，59军与华东野战军渤海纵队合编为中国人民解放军第三十三军，张克侠任军长。随后，带队参加渡江战役，在广德追击战中歼敌万余，后又参加解放上海战役，兼任淞沪警备区参谋长。
直到年3月7日，中共中央组织部对张克侠的党员身份予以公开公布。
公告全文如下：张克侠同志，保定军官学校第九期毕业生。大革命时期由西北军派送莫斯科中山大学学习，因受共产主义思想的影响，年在校曾请求入团入党，但因当时蒋介石已叛变革命，西北军首脑冯玉祥也叛变革命，本人为西北军所派，故未被批准。回国后即在冯玉祥处任职。在冯、阎反蒋战争时，本人年赴沪，得由张存实同志介绍入党，并负责党的任务回西北军工作。此后因党未派人联系，一度失去组织关系。年因公赴沪，复通过张存实同志与党取得联系。后到南京陆军大学学习，曾参加张家口抗日同盟军工作，与党保有联系，同时与第三国际一位马同志有工作关系。陆大毕业后，历任第二十九军及五十九军参谋长等职，在二十九军曾掩护我党在该军工作，在五十九军曾与王梓木同志通讯联系，抗战初期在武汉与我周、叶、陈诸同志联系，至年后曾中断。自卫战争开始后又与党取得联系，并在淮海战役中率部起义。上述情况，经张存实、王梓木、肖明、徐冰、叶剑英、曾志等同志分别证明属实。据此，我们认为张克侠同志虽长期在国民党军队工作，但年入党以来一直与党保有联系，设法为党工作，并有成绩，故其全部党籍应予承认。
同月，张克侠向上级部门提出了离开部队到地方工作的请求。张克侠先后任华东农林部部长、国家林业部副部长兼中国林业科学院院长。年，被授予“一级解放勋章”。后又当选为第四届全国人大代表、第五届全国政协常委。年下放广西干校劳动，次年经周总理指示返回北京。他抱病为百余名旧属写证明材料。年7月7日病逝，享年84岁。7月18日，中共中央、国务院、全国政协在八宝山公墓礼堂隆重举行了向张克侠遗体告别仪式。
张克侠精彩、传奇的人生，后来被文艺家多次搬上舞台与银幕。这也算是人民，历史对佩剑将军做出的最好的评价！