"с кем говоришь"- это придаточная часть? если нет, то что это? предложение: перестань говорить тотчас же, когда заметишь, что раздражаешься сам или тот, с кем говоришь.

что раздражаешься сам или тот, (кто?) с кем говоришь.
с кем говоришь -это придаточное изъяснительное, предложение неполное
с кем ТЫ говоришь