后来，侯景兵至新林，朝廷又派人追回羊侃，让他协助宣城王萧大器总督建康兵马。当时，侯景来的突然，百姓们竞相入城，城内秩序十分混乱。羊侃划分区域进行防御，由皇室在其间参加防卫事宜，并下令斩杀在武库私取兵器的士卒，使得城内得以平静。 [17]
此时，梁朝建立已有四十七年，境内平安无事，公卿各安其位，就连乡间士大夫们也都没有见到战争。侯景造反时，朝中老将都已去世，后起将领都在外镇守，城中将领只有羊侃、柳津、韦黯三人。而柳津年老多病，韦黯懦弱无谋，城中军队，全有羊侃指挥。 [18]
不久，叛军进逼建康，城中人心恐慌。羊侃诈称得到一封射书，并道援军将要抵达，这才使得军心稍定。叛军火攻东掖门，羊侃则以水灭火，又射杀数人，将叛军击退。梁武帝加封羊侃为侍中、军师将军，又赏黄金五千两、白银万两、绢帛万匹，让他赏赐士卒。羊侃推辞不受，却拿出自己的家财犒赏部曲。 [19]
叛军又制作尖顶木驴，用来攻城，守城武器都无法防御。羊侃便制作雉尾炬，安上铁箭头，用油浇灌后，投掷到木驴上，将木驴全部烧光。叛军又在东西两面堆造土山，压制台城。羊侃则派人挖掘地道，暗通到土山底下，使得土山崩塌。叛军再制作高达十多丈的登城楼车，准备从车上往城中射箭。羊侃道：“楼车太高而壕沟虚软，来时必然倾倒，我们不必防御。”后来果然应验。 [20]
侯景见难以破城，便筑造长围，将建康城团团围困。朱异、张绾主张开城出击，羊侃道：“叛军多日攻城，却久攻不下，所以团团包围，目的是想诱降城中的人。现在出击，如果出去人少，不足以打败他们；如果人多，一旦失利，自相践踏，必然伤亡惨重。”梁武帝没有采纳羊侃的建议，命千余人出城作战。这些兵马尚未与叛军交锋，便纷纷逃回，果然在争相上桥时纷纷落水，死伤过半。 [21]
侯景又派仪同傅士哲向羊侃喊话，道：“侯王远道前来问候天子，为何闭门拦阻不让他进去？羊尚书是国家大臣，应该禀奏朝廷。”羊侃道：“侯将军归附以来，朝廷给予很大信任和期望，又有什么苦恼，使他忽然起兵，这岂是臣子所为？我不能听信你的花言巧语，开门揖盗。”傅士哲又道：“我在北方久仰将军风采，希望您能脱去戎服，让我看一看。”羊侃便摘下头盔，傅士哲瞻望许久，方才离去。 [23]
后来，天降大雨，城内土山崩塌，叛军趁机攻入建康城，城中守军难以阻挡，羊侃便让人多扔火把，以火城断绝叛军进路，又在城内筑城，将叛军挡在外面。十二月，羊侃因病在建康台城去世，时年五十四岁。梁武帝追赠他为侍中、护军将军，又赐东园秘器、鼓吹乐队。 [24]