Mohammed Dib naît dans une famille d’artisans bourgeoise ruinée. Il fait ses études en français, sans fréquenter l’école coranique comme c’était l’usage.
Après la mort de son père en 1931, il commence autour de 1934 à écrire des poèmes, mais également à peindre. De 1938 à 1940, Mohammed Dib devient instituteur, enseignant à Zoudj Bghel, près de la frontière marocaine. Comptable dans les bureaux des armées alliées à Oujda (1940-1941). Interprète franco-anglais auprès des armées alliées à Alger (1943-1944). De retour à Tlemcen en 1945, Mohammed Dib est jusqu’en 1947 dessinateur de maquettes de tapis, réalisés et vendus sous son contrôle. Il publie en 1946 un premier poème dans la revue Les Lettres, publiée à Genève, sous le nom de Diabi. Invité en 1948 aux rencontres de Sidi Madani, près de Blida, organisées par les Mouvements de Jeunesse et d’Éducation populaire, il y fait la connaissance d’Albert Camus, Louis Guilloux, Brice Parain, Emmanuel Roblès et Jean Cayrol. Ce dernier deviendra par la suite son éditeur aux Éditions du Seuil à Paris. Il est ensuite syndicaliste agricole et effectue un premier voyage en France métropolitaine. De 1950 à 1952, Mohammed Dib travaille, en même temps que Kateb Yacine, au journal Alger républicain. Il y publie des reportages, des textes engagés et des chroniques sur le théâtre en arabe parlé. Il écrit également dans Liberté, journal du Parti communiste algérien. En 1951, il se marie à Colette Bellissant, fille d’un instituteur tlemcénien, dont il aura quatre enfants. Mohammed Dib lit à cette époque les classiques français, les écrivains américains, les romanciers soviétiques et italiens.
Après avoir quitté en 1952 Alger républicain, Mohammed Dib séjourne à nouveau en France alors que paraît aux Éditions du Seuil La Grande Maison, premier volet de sa trilogie Algérie, inspirée par sa ville natale, qui décrit l’atmosphère de l’Algérie rurale. Dans une « écriture de constat », « réaliste », il y témoigne tel un « écrivain public », à partir de faits authentiques, de la misère des villes et des campagnes, des grèves des ouvriers agricoles, des revendications nationalistes naissantes. La presse coloniale critique le roman, ainsi que des membres du Parti communiste algérien qui auraient souhaité y rencontrer un « héros positif » ; Louis Aragon le défend. Les deux autres volets de la trilogie, L’Incendie et Le Métier à tisser, paraissent en 1954, l’année même du déclenchement de la guerre, et en 1957. Durant cette période et jusqu’en 1959, Mohammed Dib est employé dans la correspondance et la comptabilité commerciale.
Tandis qu’il aborde plus explicitement la guerre d’indépendance dans Un été africain, Mohammed Dib est expulsé d’Algérie par la police coloniale en raison de ses activités militantes. André Malraux, Albert Camus, Louis Guilloux interviennent pour qu’il puisse s’installer en France. Il s’établit alors à Mougins, dans les Alpes-Maritimes, effectuant plusieurs voyages en Europe de l’Est. En 1962, Qui se souvient de la mer manifeste une bifurcation de son écriture vers l’onirisme, le fantastique et l’allégorique.
En 1964, Mohammed Dib s’installe dans la région parisienne, à Meudon, puis en 1967 à La Celle-Saint-Cloud, près de Versailles. Dans Cours sur la rive sauvage et La Danse du roi publiés en 1964 et en 1968, il poursuit une quête plus introspective autour des thèmes de la condition humaine, de la féminité et de la mort. En 1970, Mohammed Dib souhaite s’engager dans une nouvelle trilogie « sur l’Algérie d’aujourd’hui », dont Dieu en Barbarie et Le Maître de chasse (1973) constituent les deux premiers volets.
Mohammed Dib enseigne de 1976 à 1977 à l’UCLA, à Los Angeles, en Californie ; ville qui lui inspirera son roman en vers « L.A. Trip » (2003). À partir de 1975, il se rend régulièrement en Finlande où il collabore, avec Guillevic, à des traductions d’écrivains finlandais. De ses séjours naîtront sa « trilogie nordique » publiée à partir de 1989 : Les Terrasses d’Orsol, Neiges de marbre, Le Sommeil d’Ève. Parallèlement à son travail de romancier, ses recueils de poèmes, Omneros en 1975, Feu beau feu en 1979, sont des célébrations de l’amour et de l’érotisme. Sa pièce de théâtre, Mille hourras pour une gueuse, présentée à Avignon en 1977 et publiée en 1980, met en scène les personnages de La Danse du roi. De 1983 à 1986, Mohammed Dib est « professeur associé » au Centre international d’études francophones de la Sorbonne. Dans ses derniers livres, Simorgh, puis Laëzza terminé quelques jours avant sa mort, il revient, sous la forme d’un puzzle littéraire, sur ses souvenirs de jeunesse.
Il meurt le 2 mai 2003 à l’âge de 82 ans, à La Celle Saint-Cloud, où il est enterré.