как узнать сколько файлов в папке python

8 команд для Python по работе с файлами и файловой системой, которые обязательно нужно знать

Python становится все популярнее благодаря относительной простоте изучения, универсальности и другим преимуществам. Правда, у начинающих разработчиков нередко возникают проблемы при работе с файлами и файловой системой. Просто потому, что они знают не все команды, которые нужно знать.

Эта статья предназначена как раз для начинающих разработчиков. В ней описаны 8 крайне важных команд для работы с файлами, папками и файловой системой в целом. Все примеры из этой статьи размещены в Google Colab Notebook (ссылка на ресурс — в конце статьи).

Показать текущий каталог

Самая простая и вместе с тем одна из самых важных команд для Python-разработчика. Она нужна потому, что чаще всего разработчики имеют дело с относительными путями. Но в некоторых случаях важно знать, где мы находимся.

Относительный путь хорош тем, что работает для всех пользователей, с любыми системами, количеством дисков и так далее.

Так вот, для того чтобы показать текущий каталог, нужна встроенная в Python OS-библиотека:

Ее легко запомнить, так что лучше выучить один раз, чем постоянно гуглить. Это здорово экономит время.

Имейте в виду, что я использую Google Colab, так что путь /content является абсолютным.

Проверяем, существует файл или каталог

Прежде чем задействовать команду по созданию файла или каталога, стоит убедиться, что аналогичных элементов нет. Это поможет избежать ряда ошибок при работе приложения, включая перезапись существующих элементов с данными.

Функция os.path.exists () принимает аргумент строкового типа, который может быть либо именем каталога, либо файлом.

В случае с Google Colab при каждом запуске создается папка sample_data. Давайте проверим, существует ли такой каталог. Для этого подойдет следующий код:

Эта же команда подходит и для работы с файлами:

Если папки или файла нет, команда возвращает false.

Объединение компонентов пути

В предыдущем примере я намеренно использовал слеш «/» для разделителя компонентов пути. В принципе это нормально, но не рекомендуется. Если вы хотите, чтобы ваше приложение было кроссплатформенным, такой вариант не подходит. Так, некоторые старые версии ОС Windows распознают только слеш «\» в качестве разделителя.

Но не переживайте, Python прекрасно решает эту проблему благодаря функции os.path.join (). Давайте перепишем вариант из примера в предыдущем пункте, используя эту функцию:

Создание директории

Ну а теперь самое время создать директорию с именем test_dir внутри рабочей директории. Для этого можно использовать функцию
os.mkdir():

Давайте посмотрим, как это работает на практике.

Если же мы попытаемся создать каталог, который уже существует, то получим исключение.

Именно поэтому рекомендуется всегда проверять наличие каталога с определенным названием перед созданием нового:

Вот что получается в результате.

Показываем содержимое директории

Еще одна полезная команда — os.listdir(). Она показывает все содержимое каталога.

Команда отличается от os.walk (), где последний рекурсивно показывает все, что находится «под» каталогом. os.listdir () намного проще в использовании, потому что просто возвращает список содержимого:

В некоторых случаях нужно что-то более продвинутое — например, поиск всех CSV-файлов в каталоге «sample_data». В этом случае самый простой способ — использовать встроенную библиотеку glob:

Перемещение файлов

Самое время попробовать переместить файлы из одной папки в другую. Рекомендованный способ — еще одна встроенная библиотека shutil.
Сейчас попробуем переместить все CSV-файлы из директории «sample_data» в директорию «test_dir». Ниже — пример кода для выполнения этой операции:

Кстати, есть два способа выполнить задуманное. Например, мы можем использовать библиотеку OS, если не хочется импортировать дополнительные библиотеки. Как os.rename, так и os.replace подходят для решения задачи.

Но обе они недостаточно «умные», чтобы позволить перемесить файлы в каталог.

Чтобы все это работало, нужно явно указать имя файла в месте назначения. Ниже — код, который это позволяет сделать:

Здесь функция os.path.basename () предназначена для извлечения имени файла из пути с любым количеством компонентов.

Другая функция, os.replace (), делает то же самое. Но разница в том, что os.replace () не зависит от платформы, тогда как os.rename () будет работать только в системе Unix / Linux.

Еще один минус — в том, что обе функции не поддерживают перемещение файлов из разных файловых систем, в отличие от shutil.

Поэтому я рекомендую использовать shutil.move () для перемещения файлов.

Копирование файлов

Аналогичным образом shutil подходит и для копирования файлов по уже упомянутым причинам.

Если нужно скопировать файл README.md из папки «sample_data» в папку «test_dir», поможет функция shutil.copy():

Удаление файлов и папок

Теперь пришел черед разобраться с процедурой удаления файлов и папок. Нам здесь снова поможет библиотека OS.

Когда нужно удалить файл, нужно воспользоваться командой os.remove():

Если требуется удалить каталог, на помощь приходит os.rmdir():

Однако он может удалить только пустой каталог. На приведенном выше скриншоте видим, что удалить можно лишь каталог level_3. Что если мы хотим рекурсивно удалить каталог level_1? В этом случае зовем на помощь shutil.

Функция shutil.rmtree() сделает все, что нужно:

Пользоваться ею нужно с осторожностью, поскольку она безвозвратно удаляет все содержимое каталога.

Собственно, на этом все. 8 важных операций по работе с файлами и каталогами в среде Python мы знаем. Что касается ссылки, о которой говорилось в анонсе, то вот она — это Google Colab Network с содержимым, готовым к запуску.

Источник

Как прочитать количество файлов в папке с помощью Python?

Как прочитать количество файлов в определенной папке с помощью Python? Пример кода был бы потрясающим!

5 ответов

для подсчета файлов и каталогов нерекурсивно вы можете использовать os.listdir и возьмите его длину.

для рекурсивного подсчета файлов и каталогов вы можете использовать os.walk для перебора файлов и подкаталогов в каталоге.

если вы хотите только считать файлы, а не каталоги, которые вы можете использовать os.listdir и os.path.file чтобы проверить, является ли каждая запись файлом:

или с помощью генератор:

или вы можете использовать os.walk следующим образом:

я нашел некоторые из этих идей от этой теме.

можно использовать Глоб модуль:

или, как предлагает Марк Байерс в своем ответе, если вы хотите только файлы:

ответ Марка Байера прост, элегантен и соответствует духу python.

есть проблема, однако: если вы попытаетесь запустить это для любого другого каталога, кроме».», он потерпит неудачу, так как ОС.listdir() возвращает имена файлов, а не полный путь. Эти два совпадают при перечислении текущего рабочего каталога, поэтому ошибка остается незамеченной в источнике выше.

например, если ваш в «/ home / me «и вы перечислите «/ tmp», вы получите (скажем) [‘flashXVA67’]. Вы будете тестировать «/home/me/flashXVA67» вместо «/tmp/flashXVA67» с помощью метода выше.

Вы можете исправить это с помощью ОС.путь.join (), например:

кроме того, если вы собираетесь делать это количество много и требуют производительности, вы можете сделать это без создания дополнительных списков. Вот менее элегантное, непитонеское, но эффективное решение:

есть и другие лакомства. С помощью этих дополнительных строк вы можете увидеть как абсолютные, так и относительные имена файлов для тех элементов, которые are файлы.

Источник

Получение списка файлов в директории на Python

Всё чаще современные программисты предпочитают работать с языком программирования Python, потому что он очень гибкий, позволяющий легко взаимодействовать с операционной системой. Он также поставляется с функциями по работе с файловой системой. Решение задачи распечатки списка файлов в директории можно решить используя разные модули: os, subprocess, fnmatch и pathlib. Следующие решения демонстрируют, как успешно воспользоваться этими модулями.

Применение os.walk()

Модуль os содержит длинный список методов, которые касаются работы с файловой системой и операционной системой. Один из них walk(), возвращающий имена файлов в дереве каталогов, двигаясь по дереву сверху вниз или снизу вверх (сверху вниз по умолчанию).

os.walk() возвращает список из трех элементов: имя корневого каталога, список имен вложенных папок и список файлов в текущем каталоге. Он одинаково хорошо работает с интерпретаторами Python 2 и 3.

Использование командной строки, через subprocess

Модуль subprocess позволяет выполнить системную команду и собрать её результат. В нашем случае вызываемая системная команда выглядит следующим образом:

Модуль subprocess позволяет строить настоящие конвейеры, а также соединять входные и выходные потоки, как это делается в командной строке. Вызов метода subprocess.Popen() открывает соответствующий процесс и определяет два параметра stdin и stdout.

Первая переменная ls определяет процесс выполнения ls –p для захвата stdout в конвейере. Поэтому поток stdout определяется как subprocess.PIPE. Вторая переменная grep также определяется как процесс, но вместо этого выполняет инструкцию grep –v /$.

Чтобы прочитать вывод команды ls из конвейера, поток stdin grep присваиваивается в ls.stdout. В заключение, переменная endOfPipe считывает вывод команды grep из grep.stdout, затем распечатывается в stdout циклом for.

Данное решение работает достаточно хорошо с Python 2 и 3, но его можно улучшить. Рассмотрим другие варианты.

Комбинация os и fnmatch

Решение, использующее подпроцессы, элегантно, но требует большого количества кода. Вместо этого, давайте объединим методы из двух модулей os и fnmatch. Этот вариант также работает с Python 2 и 3.

В качестве первого шага, импортируем модули os и fnmatch. Далее определим каталог, в котором нужно перечислить файлы, используя os.listdir(), а также шаблон для фильтрации файлов. В цикле for выполняется итерация списка записей, хранящихся в переменной listOfFiles.

В завершение, с помощью fnmatch отфильтровываются искомые записи и распечатываются соответствующие записи в stdout.

Использование os.listdir() и генераторов

Следующий вариант объединяет метод os.listdir() с функцией генератором. Код работает как с версиями 2, так и с 3 Python.

Как уже было сказано ранее, listdir() возвращает список записей для данного каталога. Метод os.path.isfile() возвращает True, если данная запись является файлом. Оператор yield завершает работу функции, но сохраняя текущее состояние и возвращает только имя записи являющейся файлом.

Использование pathlib

Модуль pathlib предназначен для парсинга, сборки, тестирования и иной работы с именами файлов и их путями, используя объектно-ориентированный API вместо низкоуровневых строковых операций. Начиная с Python 3 модуль находится в стандартной библиотеке.

В следующем листинге определяется текущий каталог точкой («.»). Затем метод iterdir() возвращает итератор, который возвращает имена всех файлов. Далее циклом for распечатываются имена файлов друг за другом.

В качестве альтернативы, можно отфильтровать файлы по именам с помощью метода glob. Таким образом, получаем требуемые файлы. Например, в приведенном ниже коде перечисляются Python файлы в выбранном каталоге, указав шаблон «*.py» в glob.

Использование os.scandir()

В Python 3.6 добавлен новый метод scandir(), доступный из модуля os. Как понятно из названия он значительно упрощает получение списка файлов в каталоге.

Чтобы определить текущий рабочий каталог и сохранить его, инициализируем значение переменной path, для этого импортируем модуль os и вызовем функцию getcwd(). Далее, scandir() возвращает список записей для выбранного пути, которые проверяются на принадлежность файлу, используя метод is_file().

Вывод

Ведутся споры, какой вариант является лучшим, какой наиболее элегантным и какой является наиболее «питоничным». Мне нравится простота метода os.walk(), а также модули fnmatch и pathlib.

Две версии с процессами/конвейером и итератором требуют более глубокого понимания процессов UNIX и знаний Python, поэтому они не могут быть предпочтительными для всех программистов из-за их дополнительной (и избыточной) сложности.

Чтобы найти ответ на этот вопрос, выберем самой быстрой из них, воспользовавшись удобным модулем timeit. Данный модуль подсчитывает время, прошедшее между двумя событиями.

Для сравнения всех решений без их изменений, воспользуемся функциональностью Python: вызовем интерпретатор с модулем timeit и соответствующим Python скриптом. Для автоматизации процесса напишем shell скрипт

Источник

Я новичок в программировании, и мне было интересно, можете ли вы помочь мне.

Моя проблема в том, что я хочу составить список того, сколько файлов с определенным расширением или именами в папке, когда в ней много разных типов файлов.

Например, предположим, что в папке есть куча разных типов файлов, и я хочу только посчитать, сколько существует файлов jpg.

Я попробовал приведенный ниже код из вопросов и ответов другого человека о stackoverflow, и он показывает все имена файлов jpg в папке, но не показывает количество файлов jpg.

Кроме того, я хотел бы знать, есть ли способ подсчитать файл с определенными словами в именах. пример) подсчитать все jpg-файлы в папке, в именах которых есть «fire» (fire01.jpg, fire02.jpg и т. д.)

4 ответа

Конечно, как указывалось в предыдущем ответе, len(glob.glob(. )) скажет вам, сколько файлов соответствует глобу, если вы сможете переформулировать свое требование в один шаблон с подстановочными знаками.

Вы также можете добавить вторую переменную fire_count ; возможно, затем также переименуйте исходную переменную для согласованности.

Итак, у меня есть три файла, file1.pdf, file2.pdf и file3.pdf в моем пути / tmp / test-dir

Вы можете использовать код ниже, чтобы получить общее количество файлов PDF.

Выход

Это можно сделать с помощью функции os.listdir (), которая возвращает список всех имен файлов в данном каталоге, как в этом примере:

Так как вас интересуют только файлы, заканчивающиеся изображениями, вы можете добавить список понимания и сохранить только файлы, заканчивающиеся на «.jpg».

Вы можете использовать glob, как этот пример

Источник

Как узнать сколько файлов в папке python

/var/www/mysite/files
photoes.zip
1.jpg
2.jpg
3.jpg
im.gif
document.pdf

Чтобы получить содержимое этого каталога в виде списка, можно воспользоваться встроенным модулем os:

#Подключаем модуль
import os

#Каталог из которого будем брать файлы
directory = ‘/var/www/mysite/files’

#Получаем список файлов в переменную files
files = os.listdir(directory)

В результате files будет равна:

[‘photoes.zip’, ‘1.jpg’, ‘2.jpg’, ‘3.jpg’, ‘im.gif’, ‘document.pdf’]

Если нужно получить файлы только определенного типа, их можно отфильтровать по расширению:

#Подключаем модуль
import os

#Каталог из которого будем брать изображения
directory = ‘/var/www/mysite/files’

#Получаем список файлов в переменную files
files = os.listdir(directory)

#Фильтруем список
images = filter(lambda x: x.endswith(‘.jpg’), files)

Теперь в переменной images такой список:

решение взято с сайта: http://tutorialbox.freelancing.lv/tutorials/6

Немного магии от модуля os

1. Абсолютный адрес очередного каталога (строка).
2. Имена (без адреса) подкаталогов первого уровня для текущего каталога (список).
3. Имена (без адреса) файлов данного каталога.

Посмотрим, как это работает. Допустим, у нас есть такое дерево каталогов:
tree = os.walk(‘/home/pl/mydir’)
На что же ссылается tree? Попробуем просто получить данные, связанные с данной переменной.

В результате видим

Итак, есть объект-генератор. Поскольку полученный объект генерирует кортежи, количество
которых равно количеству каталогов в дереве, то можно их получить с помощью цикла for и,
например, вывести на экран

for d in tree:
print (d)

В соответствии с вышеуказанным деревом каталогов получится следующее:

(‘/home/pl/mydir’, [‘dir2a’, ‘dir2b’], [‘mash187.pas’, ‘mash189.pas’, ‘menu_.php’, ‘xorg.conf’, ‘клав_тренажер.odt’, ‘Расписание 2004.xls’])
(‘/home/pl/mydir\\dir2a’, [‘dir3’], [‘less1.doc’, ‘Patro_Nia.ogg’, ‘Расписание 2004.doc’])
(‘/home/pl/mydir\\dir2a\\dir3’, [], [‘bottom_.php’, ‘equador.mid’, ‘less1.html’, ‘net_Alt.txt’, ‘poly995.mid’, ‘top_.php’])
(‘/home/pl/mydir\\dir2b’, [], [‘clear.gif’, ‘fon1.jpg’, ‘logo4.png’, ‘okulov245.pas’, ‘okulov273.pas’, ‘plan1.jpg’, ‘plan2.jpg’])

Итак, налицо четыре кортежа (у нас четыре каталога – см. схему выше). Каждый кортеж
включает три элемента. Первый – это адрес каталога, второй – список поддиректорий не глубже
первого уровня, третий – список имен файлов. Если вложенных каталогов или файлов нет, то
соответствующий им список будет пуст.

Если мы еще раз запустим цикл с переменной tree, то уже ничего не получим. Дело в том,
что объект-генератор, с которым переменная была связана, уже был использован, он выдал
свое содержимое и больше его не содержит. Поэтому, если требуется сохранить кортежи для
последующий обработки, то лучше сохранить их, например, в списке:

>>> import os
>>> pdir = ‘G:/projects/pythoner.info/pypath/mydir’
>>> contdir = []
>>> for i in os.walk(pdir):
contdir.append(i)

>>> for i in contdir:
print (i)

(‘G:/projects/pythoner.info/pypath/mydir’, [‘dir2a’, ‘dir2b’], [‘mash187.pas’, ‘mash189.pas’, ‘menu_.php’, ‘sg30.thm’, ‘xorg.conf’, ‘клав_тренажер.odt’, ‘Расписание 2004.xls’])
(‘G:/projects/pythoner.info/pypath/mydir\\dir2a’, [‘dir3’], [‘less1.doc’, ‘Patro_Nia.ogg’, ‘Thumbs.db’, ‘Расписание 2004.doc’])
(‘G:/projects/pythoner.info/pypath/mydir\\dir2a\\dir3’, [], [‘equador.mid’, ‘fon1.jpg’, ‘logo4.png’, ‘logos.bmp’, ‘net_Alt.txt’, ‘plan1.jpg’, ‘poly995.mid’, ‘Thumbs.db’, ‘top_.php’])
(‘G:/projects/pythoner.info/pypath/mydir\\dir2b’, [], [‘bottom_.php’, ‘clear.gif’, ‘less1.html’, ‘okulov245.pas’, ‘okulov273.pas’, ‘plan2.jpg’, ‘sg30.sdv’])

С помощью функции walk() можно получить имена файлов с тем, чтобы в дальнейшем с ними
что-нибудь делать с помощью других методов Python и его модулей. Получить их можно,
извлекая из третьего элемента каждого кортежа. Сделать это можно так, как показано ниже:

for d, dirs, files in os.walk(‘c:/mydir’):
for f in files:
print (f)

for d, dirs, files in os.walk(‘c:/mydir’):
print (files)

[‘mash187.pas’, ‘mash189.pas’, ‘menu_.php’, ‘xorg.conf’, ‘клав_тренажер.odt’, ‘Расписание 2004.xls’]
[‘less1.doc’, ‘Patro_Nia.ogg’, ‘Расписание 2004.doc’]
[‘bottom_.php’, ‘equador.mid’, ‘less1.html’, ‘net_Alt.txt’, ‘poly995.mid’, ‘top_.php’]
[‘clear.gif’, ‘fon1.jpg’, ‘logo4.png’, ‘okulov245.pas’, ‘okulov273.pas’, ‘plan1.jpg’, ‘plan2.jpg’]

Имена файлов не полные. Они не содержат адреса, следовательно, для операций с файлами
таких списков не достаточно. Для получения полных адресов подойдет функция
os.path.join(). С ее помощью можно объединить первый элемент кортежа, содержащий полный
путь, с именем каждого файла:
>>> path_f = []
>>> for d, dirs, files in os.walk(‘c:/mydir’):
for f in files:
path = os.path.join(d,f) # формирование адреса
path_f.append(path) # добавление адреса в список

>>> path_f
[‘c:/mydir\\mash187.pas’, ‘c:/mydir\\mash189.pas’, ‘c:/mydir\\menu_.php’, ‘c:/mydir\\xorg.conf’, ‘c:/mydir\\клав_тренажер.odt’, ‘c:/mydir\\Расписание 2004.xls’, ‘c:/mydir\\dir2a\\less1.doc’, ‘c:/mydir\\dir2a\\Patro_Nia.ogg’, ‘c:/mydir\\dir2a\\Расписание 2004.doc’, ‘c:/mydir\\dir2a\\dir3\\bottom_.php’, ‘c:/mydir\\dir2a\\dir3\\equador.mid’, ‘c:/mydir\\dir2a\\dir3\\less1.html’, ‘c:/mydir\\dir2a\\dir3\\net_Alt.txt’, ‘c:/mydir\\dir2a\\dir3\\poly995.mid’, ‘c:/mydir\\dir2a\\dir3\\top_.php’, ‘c:/mydir\\dir2b\\clear.gif’, ‘c:/mydir\\dir2b\\fon1.jpg’, ‘c:/mydir\\dir2b\\logo4.png’, ‘c:/mydir\\dir2b\\okulov245.pas’, ‘c:/mydir\\dir2b\\okulov273.pas’, ‘c:/mydir\\dir2b\\plan1.jpg’, ‘c:/mydir\\dir2b\\plan2.jpg’]

Пример имеет, скорее всего, демонстрирующее, а не практическое значение, т.к.
результирующий список содержит повторяющиеся части строк. Поэтому лучше напрямую работать с
кортежем, извлеченным из объекта-генератора.

Источник