David, Yes, MapReduce destina-se a operar em uma grande quantidade de dados. E a idéia é que, em geral, o mapa e reduzir as funções não devem se preocupar com quantos mapeadores ou quantos redutores existem, isso é apenas otimização. Se você pensa cuidadosamente sobre o algoritmo que postei, você pode ver que não importa qual mapeador recebe as partes dos dados. Cada registro de entrada estará disponível para cada operação de redução que o necessite. Ndash Joe K 18 de setembro 12 às 22:30 Na melhor das minhas compreensões, a média móvel não é bem mapas para o paradigma MapReduce, uma vez que seu cálculo é basicamente uma janela deslizante sobre dados classificados, enquanto o MR é o processamento de intervalos não interceptados de dados classificados. A solução que vejo é a seguinte: a) Implementar partição personalizada para poder fazer duas partições diferentes em duas execuções. Em cada execução, seus redutores obterão diferentes faixas de dados e calcularão a média móvel quando apropriado vou tentar ilustrar: Em dados da primeira execução para os redutores devem ser: R1: Q1, Q2, Q3, Q4 R2: Q5, Q6, Q7, Q8 . Aqui você irá calcular a média móvel para alguns Qs. Na próxima execução, seus redutores devem ter dados como: R1: Q1. Q6 R2: Q6. Q10 R3: Q10..Q14 E caclule o resto das médias móveis. Então você precisará agregar resultados. Idéia de compartilhamento personalizado que terá dois modos de operação - cada vez que se divide em intervalos iguais, mas com alguma mudança. Em um pseudocódigo, será assim. Partição (keySHIFT) (MAXKEYnumOfPartitions) onde: SHIFT será retirado da configuração. MAXKEY valor máximo da chave. Eu assumo por simplicidade que eles começam com zero. RecordReader, IMHO não é uma solução, uma vez que está limitado a divisão específica e não pode deslizar sobre o limite das divisões. Outra solução seria implementar a lógica personalizada de dados de entrada de divisão (faz parte do InputFormat). Pode ser feito para fazer 2 slides diferentes, semelhante ao particionamento. Médias móveis Se esta informação for plotada em um gráfico, parece assim: Isso mostra que há uma grande variação no número de visitantes, dependendo da estação. Há muito menos no outono e no inverno do que a primavera eo verão. No entanto, se queríamos ver uma tendência no número de visitantes, poderíamos calcular uma média móvel de 4 pontos. Fazemos isso ao encontrar o número médio de visitantes nos quatro trimestres de 2005: então encontramos o número médio de visitantes nos últimos três trimestres de 2005 e primeiro trimestre de 2006: os dois últimos trimestres de 2005 e os dois primeiros trimestres De 2006: note que a última média que podemos encontrar é nos últimos dois trimestres de 2006 e nos dois primeiros trimestres de 2007. Traçamos as médias móveis em um gráfico, certificando-se de que cada média é plotada no centro dos quatro trimestres Abrange: agora podemos ver que há uma ligeira tendência de queda nos visitantes. Ao calcular uma média móvel em execução, colocar a média no período de tempo médio faz sentido No exemplo anterior, calculamos a média dos primeiros 3 períodos de tempo e Colocou-o ao lado do período 3. Poderíamos ter colocado a média no meio do intervalo de tempo de três períodos, isto é, ao lado do período 2. Isso funciona bem com períodos de tempo estranhos, mas não tão bons para períodos de tempo pares. Então, onde colocamos a primeira média móvel quando M 4 Tecnicamente, a Média Móvel cairá em t 2,5, 3,5. Para evitar esse problema, suavizamos os MAs usando M 2. Assim, suavizamos os valores suavizados. Se medimos um número par de termos, precisamos suavizar os valores suavizados. A tabela a seguir mostra os resultados usando M 4.
Comments
Post a Comment