Итерация по строкам строки

вот три возможности:

foo = """
this is 
a multi-line string.
"""

def f1(foo=foo): return iter(foo.splitlines())

def f2(foo=foo):
    retval = ''
    for char in foo:
        retval += char if not char == '\n' else ''
        if char == '\n':
            yield retval
            retval = ''
    if retval:
        yield retval

def f3(foo=foo):
    prevnl = -1
    while True:
      nextnl = foo.find('\n', prevnl + 1)
      if nextnl < 0: break
      yield foo[prevnl + 1:nextnl]
      prevnl = nextnl

if __name__ == '__main__':
  for f in f1, f2, f3:
    print list(f())

запуск этого в качестве основного скрипта подтверждает, что три функции эквивалентны. С timeit (и * 100 на foo чтобы получить существенные строки для более точного измерения):

$ python -mtimeit -s'import asp' 'list(asp.f3())'
1000 loops, best of 3: 370 usec per loop
$ python -mtimeit -s'import asp' 'list(asp.f2())'
1000 loops, best of 3: 1.36 msec per loop
$ python -mtimeit -s'import asp' 'list(asp.f1())'
10000 loops, best of 3: 61.5 usec per loop

обратите внимание, что нам нужно list() вызов, чтобы убедиться, что итераторы пройдены, а не просто построены.

IOW, наивная реализация настолько быстрее, что это даже не смешно: в 6 раз быстрее, чем моя попытка с find звонки, что в свою очередь в 4 раза быстрее, чем подход более низкого уровня.

уроки для сохранения: измерение всегда хорошо (но должно быть точным); строковые методы, такие как splitlines реализуются очень быстрыми способами; объединение строк путем программирования на очень низком уровне (esp. по петлям += очень маленьких кусочков) может быть довольно медленным.

Edit: добавлено предложение @ Jacob, слегка измененное, чтобы дать те же результаты, что и другие (трейлинг заготовки на линии сохраняются), т. е.:

from cStringIO import StringIO

def f4(foo=foo):
    stri = StringIO(foo)
    while True:
        nl = stri.readline()
        if nl != '':
            yield nl.strip('\n')
        else:
            raise StopIteration

измерение дает:

$ python -mtimeit -s'import asp' 'list(asp.f4())'
1000 loops, best of 3: 406 usec per loop

не совсем так хорошо, как .find основанный подход -- тем не менее, стоит иметь в виду, потому что он может быть менее склонен к небольшим ошибкам off-by-one (любой цикл, где вы видите вхождения +1 и -1, например my f3 выше, должен автоматически вызывать подозрения off-by-one - и так должно быть много петель, которые не имеют таких настроек и должны иметь их-хотя я считаю, что мой код также прав, так как я был возможность проверить его выход с другими функциями').

но сплит - подход по-прежнему правил.

в сторону: возможно, лучший стиль для f4 будет:

from cStringIO import StringIO

def f4(foo=foo):
    stri = StringIO(foo)
    while True:
        nl = stri.readline()
        if nl == '': break
        yield nl.strip('\n')

по крайней мере, это немного менее многословный. Нужно раздеть трейлинг \ns К сожалению запрещает более четкую и быструю замену while петли с return iter(stri) (the iter часть которого избыточна в современных версиях Python, я считаю, начиная с 2.3 или 2.4, но это также безобидный.) Может быть, стоит попробовать, также:

    return itertools.imap(lambda s: s.strip('\n'), stri)

или его вариации - но я останавливаюсь здесь, так как это в значительной степени теоретическое упражнение wrt strip на основе, простой и быстрый, один.