I løbet af 1970’erne og starten af 1980’erne havde landets fællesbagerier trange kår. Konkurrencen var stor, og FDB og de øvrige supermarkedsaktører var med til at presse brødpriserne derned, hvor det knapt var rentabelt længere. Efter overtagelsen af kundekredsen fra Arbejdernes Fællesbageri i København, der måtte dreje nøglen om i 1980, blev Roskilde Fællesbageri mere eller mindre tvunget ind i en fusion med FDB. Sammen dannede de selskaberne De Danske Brødfabrikker a.m.b.a. og DDB Invest, som de hver især ejede 50 % af. Produktionen af brød gled langsomt Roskilde Fællesbageri af hænde, og i 1983 stod det klart, at partnerskabet med FDB ikke ville gå i det lange løb. Den 7. november 1983 Roskilde Fællesbageri blev købt ud af FDB, hvilket markerede afslutningen på 92 år med brødproduktion.