как узнать количество строк в пандас
панды Python как подсчитать количество записей или строк в таблице данных
очевидно, новый для панд. Как я могу просто подсчитать количество записей в фрейме данных.
Я бы подумал, что такая простая вещь, как это, сделает это, и я даже не могу найти ответ в поисках. наверное, потому, что это слишком просто.
приведенный выше код фактически просто печатает весь df
4 ответов
С уважением к вашему вопросу. считая одно поле? Я решил задать вопрос, но надеюсь, это поможет.
скажем, у меня есть следующий DataFrame
вы можете сосчитать один столбец по
оба оценивают до 5.
классная вещь (или одна из многих w.r.т. pandas ) это если у вас есть NA значения, count принимает это во внимание.
так если бы я сделал
результат будет будь
получить количество строк в таблице данных:
(и df.shape[1] получить количество столбцов).
в качестве альтернативы вы можете использовать
(и len(df.columns) для столбцов)
избежать: count() потому что он возвращает количество наблюдений не-NA / null над запрошенной осью
len(df.index) быстрее
df.__len__ это просто вызов len(df.index)
почему вы не должны использовать count()
просто row_num = df.shape[0] # дает количество строк, вот пример:
пример Nan выше пропускает одну часть, что делает его менее общим. Для этого более «обобщенно» используйте df[‘column_name’].value_counts() Это даст вам количество каждого значения в этом столбце.
Как получить количество строк в pandas DataFrame?
Я пытаюсь получить количество строк в df с помощью Pandas, и вот мой код.
Способ 1:
Способ 2:
Оба фрагмента кода дают мне эту ошибку:
Ошибка типа: неподдерживаемые типы операндов для +: ‘instancemethod’ и ‘int’
Что я делаю неправильно?
Правка: Как @Dan Аллен отметил в комментариях len(df.index) и df[0].count() не являются взаимозаменяемыми, так как count исключает NaN s,
Как получить количество строк в pandas DataFrame?
Эта таблица суммирует различные ситуации, в которых вы хотите подсчитать что-либо в DataFrame (или Series, для полноты), а также рекомендуемые методы.
Примеры минимального кода
Глупо сравнивать производительность операций с постоянным временем, особенно когда разница находится на уровне «серьезно, не беспокойтесь об этом». Но это похоже на тенденцию с другими ответами, поэтому я делаю то же самое для полноты.
Из 3 методов, описанных выше, len(df.index) (как упоминалось в других ответах) является самым быстрым.
Число ненулевых строк: DataFrame.count и Series.count
Методы, описанные здесь, учитывают только ненулевые значения (то есть NaN игнорируются).
Вызов DataFrame.count вернет число не-NaN для каждого столбца:
Для серии используйте Series.count для получения аналогичного эффекта:
Количество строк по группам: GroupBy.size
В обоих случаях возвращается Series name__. Это имеет смысл и для DataFrames name__, поскольку все группы имеют одинаковое количество строк.
Количество ненулевых строк в группе: GroupBy.count
Следующие методы возвращают одно и то же:
Между тем, для count мы имеем
. вызывается для всего объекта GroupBy, v/s,
Как получить количество строк фрейма данных Pandas?
Я пытаюсь получить количество строк dataframe df с пандами, и вот мой код.
Способ 1:
Способ 2:
оба фрагмента кода дают мне эту ошибку:
TypeError: неподдерживаемый тип(ы) операнда для +: ‘instancemethod’ и ‘int’
что я делаю не так?
По данным ответ дано @ root лучший (the самый быстрый) способ проверить длину df-позвонить:
12 ответов
EDIT: как отметил @Dan Allen в комментариях len(df.index) и df[0].count() не являются взаимозаменяемыми как count исключить NaN s,
предположим df ваш фрейм данных тогда:
из-за одного дополнительного вызова функции он немного медленнее, чем вызов len(df.index) напрямую, но это не должно играть никакой роли в большинстве случаев.
помимо вышеуказанных ответов можно использовать df.axes чтобы получить кортеж с индексами строк и столбцов, а затем использовать len() функция:
для получения строк, используйте
и для столбцов, используйте
вы всегда можете использовать len(anyList) для получения количества списка, следовательно, вы можете использовать len(df.index) для получения количества строк или более короткой попытки len(df) количество строк.
в качестве альтернативы вы можете использовать df.shape[0] and df.shape[1] для получения количества строк и столбцов, соответственно.
Я пришел к панд из R фон, и я вижу, что панды гораздо сложнее, когда дело доходит до выбора строки или столбца. Некоторое время я боролся с этим, потом нашел способ справиться с этим:—4—>
получение количества столбцов:
получение количества строк:
. дом на Ян-Филипп ответа Gehrcke по.
и под капюшоном лен (df)
len(df.index) будет немного быстрее, чем len(df) так это не вызов функции, но это всегда быстрее, чем df.shape[0]
df.shape возвращает форму фрейма данных в виде кортежа (no. из рядов-нет. из седла).
количество строк (используйте любой из):
Если вы хотите получить количество строк в середине цепной операции, вы можете использовать:
Это может быть полезно, если вы не хотите помещать длинный оператор внутри функции len ().
вместо этого вы можете использовать __len__ (), но _ _ len_ _ () выглядит немного странно.
для dataframe df, количество строк в формате печатной запятой, используемое при исследовании данных:
легко одной строкой
даст вам простое количество строк и столбцов
Моя шпаргалка по pandas
Один преподаватель как-то сказал мне, что если поискать аналог программиста в мире книг, то окажется, что программисты похожи не на учебники, а на оглавления учебников: они не помнят всего, но знают, как быстро найти то, что им нужно.
Возможность быстро находить описания функций позволяет программистам продуктивно работать, не теряя состояния потока. Поэтому я и создал представленную здесь шпаргалку по pandas и включил в неё то, чем пользуюсь каждый день, создавая веб-приложения и модели машинного обучения.
1. Подготовка к работе
Если вы хотите самостоятельно опробовать то, о чём тут пойдёт речь, загрузите набор данных Anime Recommendations Database с Kaggle. Распакуйте его и поместите в ту же папку, где находится ваш Jupyter Notebook (далее — блокнот).
Теперь выполните следующие команды.
После этого у вас должна появиться возможность воспроизвести то, что я покажу в следующих разделах этого материала.
2. Импорт данных
▍Загрузка CSV-данных
Здесь я хочу рассказать о преобразовании CSV-данных непосредственно в датафреймы (в объекты Dataframe). Иногда при загрузке данных формата CSV нужно указывать их кодировку (например, это может выглядеть как encoding=’ISO-8859–1′ ). Это — первое, что стоит попробовать сделать в том случае, если оказывается, что после загрузки данных датафрейм содержит нечитаемые символы.
▍Создание датафрейма из данных, введённых вручную
Это может пригодиться тогда, когда нужно вручную ввести в программу простые данные. Например — если нужно оценить изменения, претерпеваемые данными, проходящими через конвейер обработки данных.
Данные, введённые вручную
▍Копирование датафрейма
Копирование датафреймов может пригодиться в ситуациях, когда требуется внести в данные изменения, но при этом надо и сохранить оригинал. Если датафреймы нужно копировать, то рекомендуется делать это сразу после их загрузки.
3. Экспорт данных
▍Экспорт в формат CSV
При экспорте данных они сохраняются в той же папке, где находится блокнот. Ниже показан пример сохранения первых 10 строк датафрейма, но то, что именно сохранять, зависит от конкретной задачи.
4. Просмотр и исследование данных
▍Получение n записей из начала или конца датафрейма
Сначала поговорим о выводе первых n элементов датафрейма. Я часто вывожу некоторое количество элементов из начала датафрейма где-нибудь в блокноте. Это позволяет мне удобно обращаться к этим данным в том случае, если я забуду о том, что именно находится в датафрейме. Похожую роль играет и вывод нескольких последних элементов.
Данные из начала датафрейма
Данные из конца датафрейма
▍Подсчёт количества строк в датафрейме
▍Подсчёт количества уникальных значений в столбце
Для подсчёта количества уникальных значений в столбце можно воспользоваться такой конструкцией:
▍Получение сведений о датафрейме
В сведения о датафрейме входит общая информация о нём вроде заголовка, количества значений, типов данных столбцов.
Сведения о датафрейме
▍Вывод статистических сведений о датафрейме
Знание статистических сведений о датафрейме весьма полезно в ситуациях, когда он содержит множество числовых значений. Например, знание среднего, минимального и максимального значений столбца rating даёт нам некоторое понимание того, как, в целом, выглядит датафрейм. Вот соответствующая команда:
Статистические сведения о датафрейме
▍Подсчёт количества значений
Для того чтобы подсчитать количество значений в конкретном столбце, можно воспользоваться следующей конструкцией:
Подсчёт количества элементов в столбце
5. Извлечение информации из датафреймов
▍Создание списка или объекта Series на основе значений столбца
Это может пригодиться в тех случаях, когда требуется извлекать значения столбцов в переменные x и y для обучения модели. Здесь применимы следующие команды:
Результаты работы команды anime[‘genre’].tolist()
Результаты работы команды anime[‘genre’]
▍Получение списка значений из индекса
Результаты выполнения команды
▍Получение списка значений столбцов
Вот команда, которая позволяет получить список значений столбцов:
Результаты выполнения команды
6. Добавление данных в датафрейм и удаление их из него
▍Присоединение к датафрейму нового столбца с заданным значением
Иногда мне приходится добавлять в датафреймы новые столбцы. Например — в случаях, когда у меня есть тестовый и обучающий наборы в двух разных датафреймах, и мне, прежде чем их скомбинировать, нужно пометить их так, чтобы потом их можно было бы различить. Для этого используется такая конструкция:
▍Создание нового датафрейма из подмножества столбцов
Это может пригодиться в том случае, если требуется сохранить в новом датафрейме несколько столбцов огромного датафрейма, но при этом не хочется выписывать имена столбцов, которые нужно удалить.
Результат выполнения команды
▍Удаление заданных столбцов
Этот приём может оказаться полезным в том случае, если из датафрейма нужно удалить лишь несколько столбцов. Если удалять нужно много столбцов, то эта задача может оказаться довольно-таки утомительной, поэтому тут я предпочитаю пользоваться возможностью, описанной в предыдущем разделе.
Результаты выполнения команды
▍Добавление в датафрейм строки с суммой значений из других строк
Результат выполнения команды
Команда вида df.sum(axis=1) позволяет суммировать значения в столбцах.
7. Комбинирование датафреймов
▍Конкатенация двух датафреймов
Эта методика применима в ситуациях, когда имеются два датафрейма с одинаковыми столбцами, которые нужно скомбинировать.
В данном примере мы сначала разделяем датафрейм на две части, а потом снова объединяем эти части:
Датафрейм, объединяющий df1 и df2
▍Слияние датафреймов
Результаты выполнения команды
8. Фильтрация
▍Получение строк с нужными индексными значениями
Индексными значениями датафрейма anime_modified являются названия аниме. Обратите внимание на то, как мы используем эти названия для выбора конкретных столбцов.
Результаты выполнения команды
▍Получение строк по числовым индексам
Следующая конструкция позволяет выбрать три первых строки датафрейма:
Результаты выполнения команды
▍Получение строк по заданным значениям столбцов
Для получения строк датафрейма в ситуации, когда имеется список значений столбцов, можно воспользоваться следующей командой:
Результаты выполнения команды
Если нас интересует единственное значение — можно воспользоваться такой конструкцией:
▍Получение среза датафрейма
Эта техника напоминает получение среза списка. А именно, речь идёт о получении фрагмента датафрейма, содержащего строки, соответствующие заданной конфигурации индексов.
Результаты выполнения команды
▍Фильтрация по значению
Из датафреймов можно выбирать строки, соответствующие заданному условию. Обратите внимание на то, что при использовании этого метода сохраняются существующие индексные значения.
Результаты выполнения команды
9. Сортировка
Для сортировки датафреймов по значениям столбцов можно воспользоваться функцией df.sort_values :
Результаты выполнения команды
10. Агрегирование
▍Функция df.groupby и подсчёт количества записей
Вот как подсчитать количество записей с различными значениями в столбцах:
Результаты выполнения команды
▍Функция df.groupby и агрегирование столбцов различными способами
▍Создание сводной таблицы
Для того чтобы извлечь из датафрейма некие данные, нет ничего лучше, чем сводная таблица. Обратите внимание на то, что здесь я серьёзно отфильтровал датафрейм, что ускорило создание сводной таблицы.
Результаты выполнения команды
11. Очистка данных
▍Запись в ячейки, содержащие значение NaN, какого-то другого значения
Таблица, содержащая значения NaN
Результаты замены значений NaN на 0
12. Другие полезные возможности
▍Отбор случайных образцов из набора данных
Результаты выполнения команды
▍Перебор строк датафрейма
Следующая конструкция позволяет перебирать строки датафрейма:
Результаты выполнения команды
▍Борьба с ошибкой IOPub data rate exceeded
Если вы сталкиваетесь с ошибкой IOPub data rate exceeded — попробуйте, при запуске Jupyter Notebook, воспользоваться следующей командой:
Итоги
Здесь я рассказал о некоторых полезных приёмах использования pandas в среде Jupyter Notebook. Надеюсь, моя шпаргалка вам пригодится.
Подсчет и фильтрация строк в DataFrame Pandas
Чтобы подсчитать количество строк в DataFrame, вы можете использовать свойство shape или метод count().
DataFrame.shape возвращает кортеж, содержащий количество строк в качестве первого элемента и количество столбцов в качестве второго элемента. Индексируя первый элемент, мы можем получить количество строк в DataFrame.
DataFrame.count() со значениями параметров по умолчанию возвращает количество значений по каждому столбцу. Каждый столбец содержит одинаковое количество значений, равное количеству строк. Индексируя первый элемент, мы можем получить количество строк в DataFrame.
Пример 1: подсчет с помощью shape
В этом примере мы будем использовать свойство DataFrame.shape, чтобы получить количество строк.
Пример 2: с помощью count()
В этом примере мы будем использовать метод count() для подсчета количества строк в DataFrame.
В этом руководстве на примерах Python мы узнали, как подсчитать количество строк в заданном DataFrame разными способами с помощью примеров программ.
Фильтрации строк
Чтобы отфильтровать строки в DataFrame, вы можете использовать функцию isin(). Она возвращает логический DataFrame, который при использовании с исходным фильтрует строки, которые подчиняются критериям фильтра.
Вы также можете использовать query() для фильтрации строк, удовлетворяющих заданному логическому выражению.
Пример 1: с помощью isin()
В этом примере мы возьмем DataFrame с двумя столбцами с именами a, b и четырьмя строками. Мы будем фильтровать при условии, что значения столбца a лежат в заданном диапазоне.
Функция isin() возвращает True для строк, значения столбца в которых находятся в диапазоне (3,6). В противном случае функция возвращает false.
df [out] возвращает только те строки, значение которых равно True, что приводит к отфильтрованному выводу.
Пример 2: с помощью query()
В этом примере мы инициализируем DataFrame двумя столбцами a и b, содержащими четыре строки. Мы будем фильтровать те строки, у которых значение столбца b больше 4.
Мы будем использовать query() для фильтрации строк.
В этом руководстве на примерах Python мы узнали, как фильтровать DataFrame на основе условий, применяемых к значениям его столбцов.