"Осер" подписал Диаби в 2003 году. В этом же году он, вместе с "Осером", выиграл чемпионат Франции для игроков до 16 лет. Тренер, который в том время работал с Диаби, Кристиан Хенна, описывал его, как "очень техничный, элегантный, быстрый." Но со временем он развился в высокого и мощного полузащитника. Подписав профессиональный контракт с "Осером", он сыграл в пяти матчах в сезоне 2004/05 и в пяти в первой половине сезона 2005/06.
12 января 2006 года он был куплен "Арсеналом" за сумму около 2 милиионов фунтов. Диаби предпочел "Арсенал" другому английскому клубу "Челси". В "Арсенале" он получил футболку с номером 2, которая была вакантна со времени ухода Ли Диксона. Планировалось, что Диаби заменит сбежавшего в "Ювентус" Патрика Виера, благодаря своему мощному, жесткому стилю игры. Кроме того, он может играть на позиции атакующего полузащитника.
Его дебют состоялся 21 января 2006 года в матче с "Эвертоном", который "канониры" проиграли 0-1. А 1 апреля Диаби вышел на замену, чтобы забить свой первый гол за "Арсенал", поучаствовав в разгроме "Астон Виллы" 5-0. Однако месяцем позже, 1 мая 2006, после подката двумя ногами игрока "Сандерленда" Дэна Смита, Диаби получил ужасную травму колена, которая вывела его из строя на срок от 6 до 9 месяцев.
Как следствие травмы - Диаби пропустил финал Лиги Чемпионов 2006 против "Барселоны", так же, как и Чемпионат Европы U-21 2006 года, в котором он расчитывал выступить за Францию.