Да, выделяется, т.к. это фразеологический оборот, который выделяется в обоих сторон запятыми. Например: Вдруг,откуда ни возьмись, выскакивает теленок...(А. Куприн) Если стоит в начале, то не выделяется: Откуда ни возьмись речушка с красивым названием Волга(В. Солоухин)
