桓溫在徐州做刺史的時候，謝奕是晉陵太守。徐州和晉陵相隔不遠，但這二位名人卻沒什麼特殊的交情，不過是年節來往、公文交接之類的事情。等到桓溫出任荊州刺史，準備西行的時候，兩人的關係卻好了起來，桓溫時不時地跑去和謝奕聊天喝酒話家常，謝奕也會很客氣地招待。
談笑間，時間過得很快，連謝奕自己都不知道怎麼回事，兩人感情就好了起來，就像多年的朋友一樣。要走了，表示一下親密，這在東晉名士輩出的大環境下很正常。何況以當時謝家的權勢地位，桓溫來親近也正常之極。
只是謝家有一個慧眼識人的女人—謝奕的弟媳，她說：「桓荊州的用意和平常有些不同，大伯肯定會和他一起走的。」別人都不相信，謝奕為人洒脫得很，怎麼受得了和別人在一起的拘束呢？不久，桓溫果真要謝奕去當荊州司馬，謝家人還沒明白咋回事呢，謝奕就跟著他去了。
桓溫性格十分率真，謝奕為人也很直爽狂放，二人志趣相投，很談得來。到荊州之後，兩人時常飲酒作詩，搞個小聚會；在花園裡，在酒桌上，兩人不分上下，相處十分融洽，互相引為知己。
後來，謝奕每天都到桓府去，掀起頭巾，露出前額，就如同在家裡一樣吟誦長嘯，不計較任何禮節。桓溫開始還引以為傲，時常說：「這是我方外的司馬啊。」後來，粗心的桓溫發現情況有些變化：謝奕無論是在他家裡，還是在刺史府里，都不講規矩了，不但說話不知輕重，不分場合，還時不時地來個偷襲，拍拍他的肩膀，高興時猛然捏捏他的鼻子，或揪一小撮頭髮，搞得他很丟臉。桓溫雖然生氣，但又抹不開面子，怒不起來。
而謝奕則把桓溫的容忍當成了不要臉的資本，繼續著他的惡作劇，甚至常借著酒勁挑戰桓溫的底線。有一次，謝奕喝醉了，又來拉拉扯扯，桓溫怕他糾纏，乾脆假裝不在。可是謝奕卻在外面大聲喊：「我知道你在呢，再不出來我就要破門了啊！」桓溫知道他的個性，使了個詐，偷偷躲到老婆那裡去。邊跑還邊回頭，結果沒看見前面的路，一頭撞到柱子上去了。老婆看著狼狽的桓溫，大笑著說：「如果沒有你的狂妄司馬，我還真見不到你這個大忙人啊。」一句話把桓溫說得面紅耳赤。
先生說過：「唯女子與小人為難養也，近之則不遜，遠之則怨。」桓溫是逮著了狐狸，惹來一身騷。雖然謝奕非小人，但關係太過親密總會有不方便之處。不過在這件事情中，最受益的恐怕是桓溫的老婆了。