В основе умственной отсталости лежит повреждение головного мозга. Наиболее грубые структурные нарушения мозга проявляются в недоразвитии. Страдает и внешний вид мозга. Рисунок борозд и извилин упрощен: микрогирия, пахигирия.

При одной из тяжелых форм недоразвития мозга (мегалоцефалия) размер и вес мозга превышают нормальные и средние величины. В этом случае клетки мозга преобладают над его волокнами (т.е. серое вещество преобладает над белым), кора головного мозга утолщена, группы клеток погружены в белое вещество. Грубо изменено строение нейрона: тело клетки увеличено, содержит крупное ядро, от тела отходит мало отростков. Кроме того, наблюдается разрастание глии и сосудистой ткани (Е. Б. Красовский).

Своеобразны   изменения   мозга   при  туберозном   склерозе - бугристое уплотнение отдельных участков головного мозга (Е.Б.  Красовский). На поверхности мозга отчетливо видны уплотнения, имеющие серовато-белую окраску.

В случаях более позднего поражения мозга травматического, воспалительного, сосудистого характера могут иметь место рубцы, кисты, гидроцефалия. Иногда происходят и более тяжелые изменения в виде порэнцефалии (воронкообразные изъяны вещества мозга, углубляющиеся в полость желудочков). Такие изменения возникают в результате некроза и распада нервной ткани.

Тяжелые поражения мозга могут быть вызваны токсоплазмой, бледной спирохетой и пр. Поражение токсоплазмой приводит к появлению в мозгу воспалительных очагов с последующим образованием кальцификатов (обызвествленные участки в местах расположения токсоплазмы в мозгу) в нервной ткани.

Характерные изменения происходят и в оболочках мозга: отмечается их утолщение, сращение с веществом мозга; иногда наблюдается изменение межоболочечных пространств.

При гистологическом изучении мозга олигофренов (тяжелая степень) выявлено уменьшенное количество нейронов и их хаотическое расположение; последнее приводит к перепутанности слоев коры. В мозгу встречаются незрелые клетки, характерные для ранних стадий эмбриогенеза. Отмечается нарушение миэлинизации нервных волокон и слабое разветвление отростков

При некоторых формах олигофрении наблюдаются цитогенетические нарушения структуры ядра, связанные с хромосомными аберрациями (нарушение числа, структуры хромосом, разрыв хромосомы и др.), и некоторые биохимические нарушения

При дебильности грубых структурных изменений в мозгу обычно не отмечается. Однако можно предположить тонкие изменения в структуре клеток и нарушения биохимического характера, которые вызывают расстройства корковой нейродинамики.