elasticsearch 将数据从R转换为Elastic Search

5t7ly7z5  于 7个月前  发布在  ElasticSearch
关注(0)|答案(1)|浏览(88)

我试图从API调用(并在R中处理JSON输出)导入数据到ElasticSearch的索引中。
stored是一个包含20个obs的矩阵。沿着113个变量。然而,ElasticSearch仅复制20个obs中的7个。进入索引。这些都是正确的价值转移。
但是,我无法解释我在哪里以及为什么遗漏了其他13个观察结果。
我正在使用的代码:

stored <- fromJSON(API_URL)
stored <- stored[['results']]

connect(es_base = "xxx.xxx.x.xx", es_port = xxxx)
connection()

docs_bulk(stored, index="data", raw = FALSE, chunk_size = 100000)
vm0i2vca

vm0i2vca1#

多亏了Sckott,我们才能解决这个问题。
来自API调用的JSON文件未进行100% UTF 8编码。通过使用fromJSON进行URL-Call,它向数据输入了额外的字符。但是,添加readLines可以避免这个问题。我使用的最终代码是:

Output_FT <- fromJSON(readLines(BWURL_x), flatten = TRUE)
stored <- Output_FT[['results']]
connect(es_base = "xxx.xxx.x.xx", es_port = xxxx)
connection()
docs_bulk(stored, index="data")

最好的,

相关问题