И так вот что я придумал (читайте коменты в коде):

# И так вот мой хендлер который отслеживает команду /clean
@main_router.message(Command("clean"))
async def handle_clean(message: types.Message):
    await clean_command(message, bot, user_db)

Мой код разбит не только на блоки, но и отдельные файлы - у вас может быть по другому.
Код выше это просто роут для функции clean_command которая находится в отдельном файле.

Также может возникнуть вопрос для чего функция handle_clean - она не несет ничего кроме разбивки логики:
handle_clean - это обработчик маршрута (handler). Его задача:
→ поймать команду /clean,
→ передать управление логике очистки,
→ ничего больше не делать.

Едем дальше, теперь о самой функции проверки и удаления в Aiogram:

import logging
from aiogram.exceptions import (
    TelegramAPIError,
    TelegramForbiddenError, # заменяет BotBlocked и ChatNotFound
    TelegramRetryAfter, # заменяет RetryAfter
)
logger = logging.getLogger(__name__)

# Посмотрите внимательно на импорт ошибок - это замена старый импортов из версии Aiogram 2

# Едем дальше вот наша функция которая проверят и удаляет пользователей
async def clean_command(message, bot, user_db):
    admin_id = int(os.getenv("ADMIN_ID"))

    # Проверяем что команда запущена от админа бота
    if message.from_user.id != admin_id:
        return await message.answer("Недостаточно прав для выполнения этой команды.")
    
    # Так как я довен и назвал по ошибке экземпляр БД то она у меня - user_db
    # Из экземпляра БД получаем все пользователей и записываем их кол-во в переменную
    users = await user_db.get_all_users()
    total = len(users)
    removed = 0

    # Просто уведомление что команда запустилась
    await message.answer(f"Начинаю очистку базы... Всего пользователей: {total}")
    
    # Тут самое интересное
    # Проходимся по каждому пользователю и проверяем
    for user_id, info in users.items():
        try:
            await bot.send_chat_action(chat_id=user_id, action="typing")
            await asyncio.sleep(0.05)  # уважаем лимиты Telegram

        except TelegramForbiddenError:
            # Проверка - пользователь заблокировал бота или чат не существует
            # Если пользователь удалил чат или заблочил бота то удаляет его
            await user_db.remove_user(user_id)
            removed += 1
            logger.info(f"Удалён пользователь {user_id}: бот заблокирован или чат не найден.")

        # Эта функция обрабатывает ограничение скорости
        # Что бы нас не заблокировали при отправке запросов
        except TelegramRetryAfter as e:
            logger.warning(f"Flood control: пауза {e.retry_after} сек.")
            await asyncio.sleep(e.retry_after)
            continue
        
        # Обрабатываем другие ошибки API
        except TelegramAPIError as e:
            logger.error(f"Ошибка Telegram API у пользователя {user_id}: {e}")
        
        # Логируем ошибку
        except Exception as e:
            logger.exception(f"Непредвиденная ошибка у пользователя {user_id}: {e}")

    # Сообщаем что очистка завершена сколько удалено из общего кол-во пользователей
    await message.answer(f"Очистка завершена. Удалено {removed} из {total} пользователей.")

В среднем такая проверка занимает около 5-7 минут (Моя база 10к +), топорно конечно. Но я просто в самом начале не предусмотрел отлавливание удаление чата/блокировки бота пользователями. По этому пришлось как-то выходить из ситуации

Надеюсь мое решение кому-то поможет