Homework - #5
Conversation
|
|
||
| @Override | ||
| protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException { | ||
| final String[] line = value.toString().trim().split("\t", 2); |
There was a problem hiding this comment.
По моему мнению, regex - последнее что нужно использовать в системах, который пытаются быть производительными.
Расскажите: почему вы использовали регекспы
There was a problem hiding this comment.
Наташа скинула регулярку и сказала сделать по ней, чтоб результаты сошлись с ее результатами
There was a problem hiding this comment.
окей, это аргумент 😄
а почему нет использования uppercase или lowercase?
There was a problem hiding this comment.
В этом вордкаунте мы считаем, что "слово" и "Слово" - разные слова
на базе этого в дальнейшем строится определение, является ли слово именем)
да и просто, это более гибкая штука, результаты можно потом обработать так, как нам нужно
|
|
||
| int pos = line.indexOf(0x09); | ||
|
|
||
| String inputString = line.substring(0, pos); |
There was a problem hiding this comment.
проверка на валидность pos была бы кстати
| String inputString = line.substring(0, pos); | ||
| int inputCount = Integer.valueOf(line.substring(pos+1)); | ||
|
|
||
| context.write(new Text(inputString.toLowerCase()), new IntWritable(inputCount)); |
| job.setOutputValueClass(IntWritable.class); | ||
|
|
||
| // читаем из выходной папки wordcount | ||
| FileInputFormat.addInputPath(job, new Path(args[0])); |
There was a problem hiding this comment.
эксепшн)
мы не заморачивались с этим
это же учебный курс, мы делали акцент на других вещах
2 participants
No description provided.