#map #hadoop #mapreduce #hive
#словарь #hadoop #mapreduce #улей
Вопрос:
я хочу реализовать программу уменьшения карты hive hadoop в своем приложении, мне все еще интересно, потому что я много раз пытался выполнить запрос и найти информацию о программе уменьшения карты в hive..
мой вопрос в том, есть ли у hive своя программа уменьшения карты? потому что, когда я пытаюсь выполнить немного сложный запрос, журнал выглядит как :
Job running in-process (local Hadoop)
2011-05-26 14:10:02,004 null map = 100%, reduce = 100%
Ended Job = job_local_0001
в этом запросе есть процесс уменьшения карты, и затем, если я попытаюсь найти в Google какую-нибудь программу уменьшения карты, реализуемую в hive, там также есть альтернатива для создания нашей программы уменьшения карты..
мое мнение таково, что мы можем использовать hive для обработки интеллектуального анализа данных (большие запросы) (я не знаю, правильно или неправильно?пожалуйста, поправьте меня) мы можем создать нашу программу уменьшения карты для реализации в hive для конкретной задачи (это правда?)
есть ли какое-либо объяснение по этому поводу?
спасибо за все ваши объяснения и внимание, и извините за мой плохой английский .. спасибо ..: D
Ответ №1:
Нет, он использует MapReduce от Hadoop. Но он использует MapReduce для агрегирования данных, которые необходимы для вашего запроса. Итак, если вы выполнили поиск по каждому значению с помощью определенного ключа, Hive запустит задание MapReduce для вашего ввода, чтобы получить для вас данные.
В основном HIVE использует mapreduce и преобразует SQL-подобный язык в задания MapReduce.
Комментарии:
1. спасибо за ваш ответ .. как насчет того, чтобы указать другой класс mapper или reducer, входные данные для mapper, а reducer — запрос из hive? я немного смущен этой конкретной задачей, потому что в примере программы Входные данные похожи на count и т.д. Как насчет конкретного запроса? есть еще какой-нибудь пример по этому поводу? извините за мой вопрос и мой плохой английский .. большое вам спасибо..
2. @fahmi-abduloh Я думаю, вам следует сначала прочитать руководство по wiki.apache.org/hadoop/Hive/Tutorial