machine-learning- все статьи тега


Обучение несбалансированным данным с использованием TensorFlow

Ситуация: Меня интересует, как оптимально использовать TensorFlow, когда моя обучающих данных является дисбаланс в распределении метки между 2 метками. Например, предположим, что учебник MNIST упрощен, чтобы различать только 1 и 0, где все доступные нам изображения являются либо 1, либо 0. это легко обучить с помощью предоставленных учебников TensorFlow, когда у нас есть примерно 50% каждого типа изображений для обучения и тестирования. Но как насчет этого дела где 90% изображений, доступных ...

C5. 0 дерево решений-код c50 вызывается exit со значением 1

Я получаю следующую ошибку код c50 называется exit with value 1 Я делаю это на титанических данных, доступных из Kaggle # Importing datasets train <- read.csv("train.csv", sep=",") # this is the structure str(train) Вывод : - 'data.frame': 891 obs. of 12 variables: $ PassengerId: int 1 2 3 4 5 6 7 8 9 10 ... $ Survived : int 0 1 1 1 0 0 0 0 1 1 ... $ Pclass : int 3 1 3 1 3 3 1 3 3 2 ... $ Name : Factor w/ 891 levels "Abbing, Mr. Anthony",..: 109 191 358 2 ...

Как hstack несколько разреженных матриц (feature Matrix)?

У меня есть 3 разреженные матрицы: In [39]: mat1 Out[39]: (1, 878049) <1x878049 sparse matrix of type '<type 'numpy.int64'>' with 878048 stored elements in Compressed Sparse Row format> In [37]: mat2 Out[37]: (1, 878049) <1x878049 sparse matrix of type '<type 'numpy.int64'>' with 744315 stored elements in Compressed Sparse Row format> In [35]: mat3 Out[35]: (1, 878049) <1x878049 sparse matrix of type '<type 'numpy.int64'>' with 788618 st ...

Почему бинарная кроссэнтропия более точна, чем категориальная кроссэнтропия для многоклассовой классификации в Керасе?

Я учусь создания сверточных нейронных сетей с использованием выбранной позиции. Я пытаюсь получить высокую точность для набора данных MNIST. По-видимому, categorical_crossentropy относится к более чем 2 классам, а binary_crossentropy - к 2 классам. Поскольку существует 10 цифр, я должен использовать categorical_crossentropy. Однако после обучения и тестирования десятков моделей binary_crossentropy последовательно значительно превосходит categorical_crossentropy. На Kaggle я получил точность 99 ...

Идет Сессия.выполнения(выборки) гарантированно выполнить его "выбирает" аргументы в порядке?

Гарантируется ли Session.run(fetches, feed_dict) выполнение его аргументов fetches в порядке? В документации об этом, кажется, ничего не говорится. Например, если вы запускаете sess.run([accuracy, train_op], feed_dict=feed_dict) Порядок выполнения имеет значение: train_op обновит параметры, влияющие на accuracy. ...

Регрессия хребта с "glmnet" дает другие коэффициенты, чем то, что я вычисляю по "определению учебника"?

Я выполняю регрессию гребня с использованием glmnet R пакет. Я заметил, что коэффициенты, которые я получаю из функции glmnet::glmnet, отличаются от тех, которые я получаю, вычисляя коэффициенты по определению (с использованием того же лямбда-значения). Может кто-нибудь объяснить мне почему? Данные (как ответ Y, так и матрица проектирования X) масштабируются. library(MASS) library(glmnet) # Data dimensions p.tmp <- 100 n.tmp <- 100 # Data objects set.seed(1) X <- scale(mvrnorm(n.tm ...

Классификация текста с помощью Java

Мне нужно отнести текст или слово к определенной категории. Например, текст "Pink Floyd" должен быть классифицирован как "музыка" или "Викимедиа" как "технология" или "Эйнштейн" как "наука". Как это можно сделать? Есть ли способ, которым я могу использовать DBpedia для того же самого? Если нет, то база данных должна быть обучена время от времени, верно? ...

Как определить важность признаков для модели логистической регрессии?

У меня есть бинарная модель прогнозирования, обученная алгоритму логистической регрессии. Я хочу знать, какие признаки (предикторы) более важны для решения положительного или отрицательного класса. Я знаю, что есть параметр coef_, поступающий из пакета scikit-learn, но я не знаю, достаточно ли этого для важности. Другое дело, как я могу оценить значения coef_ с точки зрения важности для отрицательных и положительных классов. Я также читал о стандартизированных коэффициентах регрессии и I не знаю ...

Простое объяснение наивной классификации Байеса

Мне трудно понять процесс наивного Байеса, и мне было интересно, может ли кто-нибудь объяснить его простым пошаговым процессом на английском языке. Я понимаю, что сравнение по времени происходит как вероятность, но я понятия не имею, как учебные данные связаны с фактическим набором данных. пожалуйста, дайте мне объяснение, какую роль играет обучающий набор. Я даю очень простой пример для фруктов здесь, как банан, например training set--- round-red round-orange oblong-yellow round-red dataset- ...

В чем разница между генеративным и дискриминационным алгоритмом?

пожалуйста, помогите мне понять разницу между генеративных и дискриминационных алгоритм, имея в виду, что я только новичок. ...

Как Google "вы имели в виду?- Алгоритм работает?

Я разрабатываю внутренний веб-сайт для инструмента управления портфелем. Есть много текстовой информации, названия компании и т. д. Я был действительно впечатлен способностью некоторых поисковых систем очень быстро реагировать на запросы с помощью "did you mean: xxxx". Мне нужно уметь разумно принимать запрос пользователя и отвечать не только сырыми результатами поиска, но и с помощью "вы имели в виду?"ответ, когда есть весьма вероятный альтернативный ответ и т. д. [Я развивается в ASP.NET ( ...

Что логитов, softmax и softmax крест энтропии с логитов?

Я проходил через tensorflow API docs здесь. В tensorflow документации, они использовали ключевое слово, называемое logits. Что это? Во многих методах в документах API это написано как tf.nn.softmax(logits, name=None) если то, что написано-это те logits только Tensors, зачем держать другое имя, как logits? другое дело, что есть два метода, которые я не мог различить. Они были tf.nn.softmax(logits, name=None) tf.nn.softmax_cross_entropy_with_logits(logits, labels, name=None) каковы различи ...

В чем разница между контролируемым обучением и неконтролируемым обучением?

с точки зрения искусственного интеллекта и машинного обучения, в чем разница между обучением и без обучения? Можете ли вы дать основное, простое объяснение с примером? ...

Как понять локальность чувствительного хеширования?

Я заметил, что LSH кажется хорошим способом найти подобные элементы с свойствами высокого размера. после прочтения статьи http://www.slaney.org/malcolm/yahoo/Slaney2008-LSHTutorial.pdf, я все еще путаюсь с этими формулами. кто-нибудь знает блог или статью, которая объясняет, что простой способ? ...

Существует ли эмпирическое правило для разделения набора данных на обучающие и проверочные наборы?

есть правило, как разделить данные на обучающие и проверочные наборы? Это даже в соотношении 50/50, желательно? Или есть явные преимущества наличия большего количества обучающих данных относительно данных проверки (или наоборот)? Или этот выбор в значительной степени зависит от приложения? Я в основном использовал 80% / 20% данных обучения и проверки, соответственно, но я выбрал это подразделение без какой-либо принципиальной причины. Может кто-то, кто более опытен в машине обучение посоветуйте ...

Почему одно горячее кодирование повышает производительность машинного обучения?

Я заметил, что когда одно горячее кодирование используется на определенном наборе данных (матрице) и используется в качестве обучающих данных для алгоритмов обучения, оно дает значительно лучшие результаты в отношении точности прогнозирования по сравнению с использованием самой исходной матрицы в качестве обучающих данных. Как происходит это повышение производительности? ...

библиотеки машинного обучения в C# [закрыто]

есть ли библиотеки машинного обучения на C#? Я после чего-то вроде WEKA. Спасибо. ...

Как я могу построить модель, чтобы отличить твиты о Apple (Inc.) из твитов про яблоко (фрукты)?

смотрите ниже для 50 твитов о " apple."У меня есть рука помечены положительные матчи О Apple Inc. Они отмечены как 1 ниже. вот несколько строк: 1|“@chrisgilmer: Apple targets big business with new iOS 7 features http://bit.ly/15F9JeF ”. Finally.. A corp iTunes account! 0|“@Zach_Paull: When did green skittles change from lime to green apple? #notafan” @Skittles 1|@dtfcdvEric: @MaroneyFan11 apple inc is searching for people to help and tryout all their upcoming tablet within our own net page No. ...

Что такое интуитивное объяснение метода максимизации ожиданий? [закрытый]

максимизация ожиданий, если это своего рода вероятностный метод классификации данных. Пожалуйста, поправьте меня, если я ошибаюсь, если это не классификатор. Что такое интуитивное объяснение этой техники ЭМ? Что такое ожидание здесь и что максимизируется? ...

Как мне найти Уолли с Python?

бесстыдно прыгает на подножку: -) вдохновленный как мне найти Уолдо с Mathematica и последующее как найти Waldo с R, как новый пользователь python я хотел бы посмотреть, как это можно сделать. Похоже, что python будет лучше подходить для этого, чем R, и нам не нужно беспокоиться о лицензиях, как в случае с Mathematica или Matlab. в Примере, подобном приведенному ниже, очевидно, просто использовать полосы не будет работать. Было бы интересно, если простой подход, основанный на правилах, может б ...