在pig中提取部分字段

wqlqzqxt 于 2021-06-03 发布在 Hadoop

关注(0)|答案(2)|浏览(365)

我的日志文件是，
116.48.29.143---[01/oct/2013:20:28:21+0530]“get/test.php http/1.1”200 749“-”mozilla/4.0（兼容；msie 6.0；windows nt 5.1；sv1。net clr 1.1.4322“）
145.89.87.211---[01/oct/2013:20:28:21+0530]“get/test.php http/1.1”200 613“-”mozilla/4.0（兼容；msie 6.0；windows nt 5.1；sv1。net clr 1.1.4322“）

REGISTER file:/home/hadoop/lib/pig/piggybank.jar;
DEFINE EXTRACT org.apache.pig.piggybank.evaluation.string.EXTRACT();             
DEFINE CustomFormatToISOorg.apache.pig.piggybank.evaluation.datetime.convert.CustomFormatToISO();
DEFINE ISOToUnix org.apache.pig.piggybank.evaluation.datetime.convert.ISOToUnix();
DEFINE DATE_TIME org.apache.pig.piggybank.evaluation.datetime.DATE_TIME();
DEFINE FORMAT_DT org.apache.pig.piggybank.evaluation.datetime.FORMAT_DT();
DEFINE FORMAT org.apache.pig.piggybank.evaluation.string.FORMAT();

A = LOAD 'input' USING TextLoader AS (line:chararray);

B = FOREACH A GENERATE FLATTEN (REGEX_EXTRACT_ALL(line,'^(\\S+) (\\S+) (\\S+) \\[([\\w:/]+\\s[+\\-]\\d{4})\\] "(.+?)" (\\S+) (\\S+) "([^"]*)" "([^"]*)"') ) AS (remoteAddr:chararray, remoteLogname: chararray, user: chararray,  time: chararray, request: chararray, status: int, bytes_string: chararray, referrer: chararray, browser: chararray);

我的问题是提取会议记录，我的意思是从[01/oct/2013:20:28:21+0530]我只需要得到28:21
我怎么才能提取出来？？

hadoop apache-pig

来源：https://stackoverflow.com/questions/19512638/extract-part-of-field-in-pig

2条答案

按热度按时间

iyr7buue1#

您已经知道如何编写正则表达式了，那么为什么不修改现有的正则表达式或编写新的正则表达式呢？这里有一个新的：

C = FOREACH A GENERATE REGEX_EXTRACT(time, '[\\w/]+:\\d{2}([\\d:]+)\\s[+\\-]\\d{4}') AS hourMin;

赞(0）回复(0）举报 2021-06-04

wvt8vs2t2#

我为这种应用程序编写了一个特殊的清管器装载器。这使得apachehttpd日志文件的解析更加容易。
您可以在pig应用程序中使用如下方式：

REGISTER httpdlog-pigloader-1.0-SNAPSHOT-job.jar

Clicks = 
  LOAD 'access_log.gz' 
  USING nl.basjes.pig.input.apachehttpdlog.Loader(
    '%h %l %u %t "%r" %>s %b "%{Referer}i" "%{User-Agent}i"',
    'IP:connection.client.host',
    'TIME.MINUTE:request.receive.time.minute',
    'HTTP.URI:request.firstline.uri',
    'STRING:request.firstline.uri.query.foo',
    'STRING:request.status.last',
    'HTTP.URI:request.referer',
    'STRING:request.referer.query.foo',
    'HTTP.USERAGENT:request.user-agent')
  AS ( 
    ConnectionClientHost,
    RequestReceiveTimeMinute,
    RequestFirstlineUri,
    RequestFirstlineUriQueryFoo,
    RequestStatusLast,
    RequestReferer,
    RequestRefererQueryFoo,
    RequestUseragent);

您可以在此处下载：https://github.com/nielsbasjes/logparser

赞(0）回复(0）举报 2021-06-03

我来回答

在pig中提取部分字段

2条答案

相关问题

热门标签

最新问答