《亞威農少女》中有太多讓馬蒂斯感到氣惱的因素，有太多都是直接衝他而來。他自己的作品，就算畫得再馬虎，也總是非常注意對整體感、穩定感和平衡感的把握；相反，《亞威農少女》卻是支離破碎、充滿挑釁和極其尖銳的。這張畫的構成，無論從哪一方面，都與他剛剛在義大利見到的那些壁畫背道而馳。而他又怎麼能不被畫面右側那位蹲坐著的女人激怒？這分明就是直接從他最鍾愛的塞尚《三浴女》中搬過來的人物。他又怎能無視這個蹲著的女人和她身後女人臉上所戴的非洲面具？畢竟，他才是將非洲藝術介紹給畢加索的那個人；他從未料想自己的發現竟會公然以這麼直白的方式為他人所用。但這張畫裏還有其他一些值得注意的地方，一些更加根本的元素——這些元素與挪用、竊取和蓄意攻擊無關。這便是它所具有的衝突感。畢加索想通過這種赤裸裸的性描繪使觀者（還有他自己）感到不安。其最終取得的效果與馬奈的《奧林匹亞》有幾分相似，只不過缺少了與觀者之間那種互相會意的交流；這張畫的表現更為強烈、更為集中，透出一種赤裸裸的挑釁。不管是出於什麼原因，馬蒂斯並沒有把《亞威農少女》當成一件傑作。像許多人一樣，他同樣感到招架不住那些暗送秋波的裸女和她們散發出的那種強烈性吸引力。此外，這張畫中與他有關的那些訊息——那些畢加索想要傳達給他的——太過複雜、太過含糊，令他無法讀懂。他可能會把畫中的某些方面解讀為畢加索對自己一種間接的崇拜。但他同時也懷疑《亞威農少女》實際在告訴自己的是畢加索不是他輕易能收服的，不管是作為門徒還是追隨者。它宣告，畢加索只屬於他自己。這個男人有著同樣的抱負——要成為一個偉大的現代畫家——只是對此的理解卻完全不同。在這一關鍵點，馬蒂斯對先鋒藝術的影響力比以往任何時候都要更強，他的主導地位已是公認的。在於 1907 年 10 月初開幕的秋季沙龍上（主打的是貝爾特·莫裏索和保羅·塞尚的重要回顧展），所有的年輕畫家似乎都在努力向這位“野獸派中的野獸”（阿波利奈爾對馬蒂斯的稱呼）看齊。看到如此之多對自己風格的濫俗模倣，馬蒂斯分外憂慮。絕大多數對他著迷的藝術家都並沒有理解馬蒂斯真正的意圖所在。這本來無關緊要，但那些拙劣的模倣卻為他的批評者們提供了更多彈藥。（畢加索在《亞威農少女》中的“借用”雖然是在另一種層面上，但可能也曾讓馬蒂斯有過類似的擔心，覺得其中暗藏著同樣的危險。）當馬蒂斯一方面正因拙劣的模倣者而憂心忡忡，另一方面卻也開始面臨著強烈的反對。追隨者中最有才華、有思想的幾位都開始與他日漸疏遠，其中便包括他親密的知己德朗與更為獨立的布拉克。在短暫的野獸派時期，他們曾與馬蒂斯一同創作。但自那以來，馬蒂斯就一直在追求一條越來越個人化的道路。在《生之喜悅》和《藍色裸體》之後——雖然這兩幅作品可能很了不起——他們便沒法或不願再追隨馬蒂斯了。最終，馬蒂斯變得十分孤僻，他無法再繼續承擔起運動領導者的角色。但在這時，當他的作品令太多人感到醜陋不堪、稀奇古怪（“為何要對形式如此蔑視？”一位批評家就他的最新作品《奢華》〔Le Luxe〕質疑道。這張畫描繪了一個奇異的夢境，當中三個畫得十分笨拙的女人正在沙灘上進行一種神秘儀式）——他像畢加索一樣需要認可與支援。格特魯德·斯泰因現在完全站在了畢加索這一邊，她很快就將世界劃分為了“馬蒂斯派”和“畢加索派”。畢加索的其他支援者們也在一併加劇這種緊張關係。他們樂於利用一切能找到的優勢壓倒馬蒂斯。當得知畢加索為《亞威農少女》有多麼傷心失望時，他們便代為表達這種不得不屈居人後的落寞失意。但事實上，正是這一點讓畢加索忍無可忍。利奧·斯泰因後來曾回憶起畢加索是怎樣在公車站排隊候車時突然發起怒來。“這不是事情應該的樣子，”他説，“強者就應該一往無前，得到他們所想要的。”