В случае с "That would have been me" мы имеем дело не counterfactual ("Это был бы я", где я точно знаю, что это был не я), а suppositional, где я лишь предполагаю, не зная этого наверняка или оставляя некое пространство для неуверенности или просто не желая высказываться категорично. Эта конструкция является вариантом "will have been", где высказывается предположение о прошлом (sic!) событии. В "Oblique Moods, Modal verbs" by Natanson, автор приводит пример (с.128) "The reader will have already noticed.." и характеризует этот оборот как "Near certainty about the past". Что касается претеритного варианта, то там же дан пример: "That would have been the right way".
Интересно, что оба примера (и с will и с would) переведены как "должно быть, по видимому" и автор считает их эквивалентами, проще говоря в "That would have been the right way" можно заменить would на will без ощутимого изменения значения и степени категоричности. Одновременно, мы чувствуем и знаем тенденцию, что при прочих равных, Past форма модального глагола звучит менее категорично и уверенно в предположениях (i.e. "He might be at home now", в принципе, менее уверенная, нежели "He may be at home now"). Проблема тут, ожидаемо, в том, что в жизни редко бывает ситуация "при прочих равных" и в оценку вмешиваются многие контекстуальные и прагматические факторы. В нашем случае, аналогично.
