hdfs- все статьи тега
Что такое "Hadoop" - определение Hadoop?
Это отчасти очевидно, и мы все согласимся, что мы можем назвать HDFS + YARN + MapReduce как Hadoop. Но что происходит с различными другими комбинациями и другими продуктами в экосистемеHadoop ? Является ли, например, HDFS + YARN + Spark все еще Hadoop ? Есть HBASE Хадуп? я думаю, мы рассмотрим HDFS + YARN + Pig Hadoop , так какPig использует MapReduce. Являются только инструментыMapReduce , рассматриваемые Hadoop , но все остальное работает на HDFS + YARN (например Spark ) - это non Hadoop ? ...
команда hadoop fs-put
Я построил одноузловую среду Hadoop на CentOS, используя хранилище CDH Cloudera. Когда я хочу скопировать локальный файл в HDFS, я использую команду: sudo -u hdfs hadoop fs -put /root/MyHadoop/file1.txt / Но результат меня угнетал: put: '/root/MyHadoop/file1.txt': No such file or directory Я уверен, что этот файл существует. Пожалуйста, помогите мне,Спасибо! ...
Как скопировать файл из HDFS в локальную файловую систему
Как скопировать файл из HDFS в локальную файловую систему . Под файлом нет физического местоположения файла, даже каталога . как я могу переместить их в свой локальный для дальнейшей проверки.я пробовал через WinSCP . ...
Spark-загрузить CSV-файл в качестве фрейма данных?
Я хотел бы прочитать CSV в spark и преобразовать его в виде фрейма данных и сохранить его в HDFS с df.registerTempTable("table_name") Я пробовал: scala> val df = sqlContext.load("hdfs:///csv/file/dir/file.csv") ошибка, которую я получил: java.lang.RuntimeException: hdfs:///csv/file/dir/file.csv is not a Parquet file. expected magic number at tail [80, 65, 82, 49] but found [49, 59, 54, 10] at parquet.hadoop.ParquetFileReader.readFooter(ParquetFileReader.java:418) at org.apache.sp ...
какая разница между "Hadoop с ФС" команды Shell и "файловая система HDFS ДПП" команды оболочки?
они должны быть равны? но, почему "hadoop fs" команды показывают hdfs files в то время как "hdfs dfs" команды показывают локальные файлы? вот информация о версии hadoop: Hadoop 2.0.0-mr1-cdh4.2.1 Subversion git://ubuntu-slave07.jenkins.cloudera.com/var/lib/jenkins/workspace/CDH4.2.1-Packaging-MR1/build/cdh4/mr1/2.0.0-mr1-cdh4.2.1/source - r составлено Дженкинсом в понедельник 22 апреля 10:48: 26 PDT 2013 ...
Запись на несколько выходов с помощью ключа Spark-одно задание Spark
как вы можете писать на несколько выходов, зависящих от ключа, используя Spark в одном задании. связанный: запись на несколько выходов с помощью ключа ошпаривания Hadoop, одно задание MapReduce например. sc.makeRDD(Seq((1, "a"), (1, "b"), (2, "c"))) .writeAsMultiple(prefix, compressionCodecOption) обеспечили бы cat prefix/1 - это a b и cat prefix/2 будет c ответ для точного ответа с полным импортом, pimp и кодеком сжатия см. https://stackoverflow.com/a/46118044/1586965 ...
Масштабируемое Хранилище Изображений
в настоящее время я разрабатываю архитектуру для веб-приложения, которое также должно обеспечивать какое-то хранилище изображений. Пользователи смогут загружать фотографии в качестве одной из ключевых функций сервиса. Также просмотр этих изображений будет одним из основных способов использования (через интернет). однако я не уверен, как реализовать такой масштабируемый компонент хранения изображений в моем приложении. Я уже думал о различных решениях, но из-за отсутствия опыта, я с нетерпением ...