Итераторы и генераторы

Цикл for в Python не «обходит коллекцию» и ничего не знает ни про длину, ни про индексы. Он выполняет ровно один сценарий — один раз вызывает iter(obj), получает итератор, а дальше дёргает next() до тех пор, пока не прилетит StopIteration, которое молча гасит. Всё, что перебирается в Python — list, dict, файл, zip, range, генератор, — подключено к этому единственному протоколу, и своя структура данных становится пригодной для for ровно тогда, когда реализует два дандер-метода.

Из протокола следуют две вещи, вокруг которых и строятся вопросы на собеседовании. Первая — различие между итерируемым объектом и итератором. Итерируемый объект выдаёт по запросу свежий курсор, поэтому list перебирается сколько угодно раз; итератор — сам курсор — хранит позицию и исчерпывается необратимо. Вторая — генераторы, самый короткий способ написать итератор: функция с yield в теле возвращает объект-генератор, не выполнив ни строчки, а yield замораживает кадр вместе со всеми локальными переменными. Отсюда растут три классические ловушки — генератор читается один раз и на втором проходе отдаёт пустоту, (x for x in y) создаёт вовсе не кортеж, а StopIteration, поднятое внутри тела генератора, превращается в RuntimeError. Разберите механику по слоям.

Карта темы

• Итерируемый объект — что делает объект пригодным для for и почему list перебирается многократно, а курсор — один раз.
• Протокол итератора — __next__, __iter__, возвращающий self, StopIteration и разворачивание for в iter плюс повторные next.
• Свой итератор классом — курсор, написанный руками, разделение контейнера и курсора и цена ошибки «__iter__ возвращает self».
• Генераторные функции — yield в теле превращает функцию в фабрику генераторов; вызов не выполняет тело, а исчерпание необратимо.
• yield и заморозка кадра — как приостанавливается кадр, что происходит с локальными переменными и что делегирует yield from.
• send, throw и close — двусторонний канал генератора, GeneratorExit и честная финализация ресурсов.
• Включения и генераторные выражения — [...] против (...), отсутствующее «кортежное включение» и область видимости переменной цикла.
• Ленивость и память — O(1) против O(n), потоки больше RAM, бесконечные последовательности и случаи, когда список лучше.

Частые ошибки и ловушки

Значение для собеседований

Тема входит в обязательный минимум для middle-разработчика, и начинают её почти всегда с определений. Просят объяснить, чем итерируемый объект отличается от итератора, — правильный ответ звучит как «итерируемый отдаёт свежий итератор из __iter__, итератор реализует __next__ и хранит позицию», и он же закрывает половину продолжений. Дальше проверяют следствие — почему __iter__ итератора возвращает self и что произойдёт с next() после первого StopIteration. Затем идёт код — свой reversed генератором и классом или разворот вложенного списка через yield from. Здесь смотрят не на алгоритм, а на протокол — есть ли __iter__, поднимается ли StopIteration, не материализуется ли втихую копия.

Вторая половина разговора — про генераторы и ленивость. Стандартный набор — что вернёт вызов генераторной функции, что напечатает list(gen) дважды, чем (...) отличается от [...] и почему генератор экономит память; ответ «O(n) против O(1)» ожидается дословно. На senior-уровне добавляют send/throw/close с обязательным упоминанием прайминга и GeneratorExit, семантику yield from вместе с возвратом значения подгенератора и откат iter() на __getitem__. Типичная ошибка на всех уровнях одна — кандидат описывает поведение («перебирает элементы»), но не может назвать вызовы, из которых оно складывается.