黃侃與章太炎相識於日本。當時黃侃住樓上，章太炎住樓下。一天夜晚，黃因內急，不及上廁所，便從樓窗中解褲洋洋直瀉。章太炎此時夜讀正酣，驀地一股腥臊尿水瀑布般往下飛濺，禁不住高聲怒罵。黃侃本系貴公子出身，且正年輕性躁，盛氣凌人，也報以回罵。不罵不相識，待雙方互通姓名後，彼此都熟知對方大名，遂將話鋒轉到學問上，兩人越談越投機。章太炎是淵博絕倫的樸學大師，黃侃便折節稱弟子。自此，黃侃師從章太炎問學經年。章太炎清高孤傲，對近世文人極少嘉許，惟獨對黃侃刮目相待。
黃侃與其師章太炎的相識還有一種版本，一次黃侃隨眾人往章太炎住所拜謁，看到章在牆上用大字寫著東漢戴良的四句話：「我若仲尼出東魯，大禹長西羌，獨步天下，誰與為偶？」黃覺得章為人太狂，恐難接近，萌生退意。後章在報上看到黃的文章，驚為奇才，投書約見，二人遂得以相識。
黃侃跟章太炎在東京住了三年多，一直埋頭苦讀，不時向章請教。可笑的是，他跟章甚久，始終沒有「拜師」的形式，章很以為奇。到黃侃決定回國，向章求臨別贈言，太炎先生說：「你要拜一個好老師常常指教你才好。」他問什麼人好，太炎說：「北京找劉申叔（劉師培）吧。」他答：「暫時不想去北京。」太炎說：「只講孫詒讓也好。」他答：「不想到浙江。」太炎說：「陳伯韜在南京，你可去找他。」答：「南京恐怕去不了。」太炎說：「那怎麼辦？萬不得已，就是我勉強點吧！」這時黃侃才認真地磕頭，算是拜了師。從此黃侃位列章太炎門牆，章太炎對黃的學識也十分激賞，曾夸道：「恆言學問進益之速，如日行千里，今汝殆一日萬里也。」
章太炎曾對幾位高足一一封號：蘄春黃侃（季剛）為天王，吳縣汪東（旭初）為東王，海鹽朱希祖（逖先）為西王，歸安錢夏（中季）（即錢玄同）為南王，歙縣吳承仕（檢齋）為北王，合稱「五大天王」。世人又稱黃侃、汪東為「章門二妙」。幾大天王中黃侃最得章氏青睞，章稱其「清通之學、安雅之詞，舉世罕與其匹……」
章太炎《新方言》出版時，不請同輩，卻請黃侃為他寫《後序》，也足見其對黃的看重。
黃侃雖自視甚高，目中無人，但對老師章太炎卻執禮甚恭。這一對師生惺惺相惜，留下許多趣聞。「前中大教授黃季剛先生，為章氏最得意弟子，季剛先生事章氏恭謹又倍於他人，黃有弟子陳君，亦能傳其衣缽，主章家為西席，章氏以西席禮待之。每逢新年，季剛先生必詣章宅叩賀，至必行跪拜禮，黃叩章，陳又叩黃，章又向陳行禮。坐定，陳舉茶敬黃，黃敬章，章又敬其西席，如此循環不絕，家人傳為笑談。」
黃侃對恩師章太炎執禮甚恭，汪辟疆說他「二十餘年間執弟子禮始終甚謹」。「『於並世老宿多譏彈』，惟於太炎先生，則始終服膺無間。有議及章先生者，先生心盛氣爭之，猶古道也。」章太炎也稱他「性雖俶異，其為學一依師法，不敢失尺寸」。黃侃平時愛寫詩，經常請章審閱，黃侃對章的字紙都特別珍視，每獲得章信，便裱起來珍藏。章知道黃有此愛好，有時還特地為黃寫幾幅字，寫幾首詩，黃每有所獲便如獲至寶。一九二九年一月十二日，章太炎六十大壽。當時章住上海，為祝賀老師生日，黃侃特地提前幾天趕往上海做準備，可見其至誠之心。
黃侃常將其老師章太炎比作蘇格拉底，將自己比作柏拉圖，因為他認為老師的學問博大而散漫，惟自己能整理之；且認為章太炎正象蘇格拉底一樣根本蔑視美，而自己卻風流能事，正如柏拉圖般關心物美。後來有一次，章太炎問黃侃：「婦人身上何處最美？」黃侃說：「老師您以為呢？」章太炎說：「以我觀之，婦人之美，實在雙目。」黃侃笑道：「都說先生痴，據此來看，先生哪裡痴呢！」從此，黃侃對章太炎的看法才有所改變。
黃侃英年病逝，章太炎不勝悲痛，親為弟子撰寫墓志銘，稱其「尤精治古韻。始從余問，後自為家法，然不肯輕著書。餘數趣之曰：『人輕著書，妄也。子重著書，吝也。妄不智，吝不仁。』答曰：『年五十當著紙筆矣。』」
黃侃在北大幾乎罵遍同列，連師弟錢玄同也不放過，惟有一人，他以禮相待，這人就是與章太炎齊名的國學大師劉師培。別人問黃侃何故對劉師培特殊優待？他回答道：「因為他與本師太炎先生交情很深。」
章太炎、劉師培、黃侃三人常在一起切磋學問，然而每次談到經學，只要黃侃在場，劉師培就三緘其口，黃侃很快就猜透了對方的心思。有一次，劉師培感嘆自己生平沒有資質優秀的弟子堪當傳人，黃侃即朗聲問道：「我來做你的關門弟子如何？」劉師培以為黃侃只是開玩笑，便說：「你自有名師，豈能相屈？」黃侃正色相告：「只要你不認為我有辱門牆，我就執弟子禮。」第二天，黃侃果然用紅紙封了十塊大洋，前往劉家磕頭拜師，劉師培當仁不讓，欣然受禮，他說：「我今天就不再謙讓了。」有人認為黃的學問在劉之上，黃不必自輕身份，黃說：「《三禮》為劉氏家學，非如此不能繼承絕學，此所謂道之所存，師之所存。」
一九一六年劉師培與黃侃在北京見面時，劉將其關於《左傳》的研究著作出示給黃侃，黃讀後十分佩服，認為劉乃「曠代奇才」，對其過目成誦的才能尤為推崇。一次侄子黃焯問黃侃，劉師培與章太炎哪一個讀書較多，黃侃不悅道：「汝何知？劉先生之博，當世殆無其匹。其強記復過絕人。」
有一段時間劉師培失業在家，黃侃向蔡元培推薦他到北大任教，蔡以他曾經依附過袁世凱不肯聘任，黃侃則堅持說：「學校聘其講學，非聘其論政。何嫌何疑？」最終蔡接受了黃的意見，聘請了劉。
劉師培去世前對黃侃說：「我一生應當論學而不問政，只因早年一念之差，誤了先人清德，而今悔之已晚。」劉師培去世次年，黃侃在武昌寫了一篇悼文《先師劉君小祥奠文》，中有「悲哉小子，得不面牆，手翻繼簡，涕淚浪浪」之句。
當時黃劉二人名氣相差無幾，且劉僅年長二歲，黃拜劉為師令許多人不解。連章太炎也不以為然：「季剛小學文辭，殆過申叔（即劉師培），何遽改從北面？」黃答：「予於經術，得之劉先生者為多。」這也足見黃侃的好學精神。