如何在预先存在的 SQL 数据库上使用弹性搜索？

php javascript json sql elasticsearch

2022-08-30 12:45:20

我一直在阅读很多关于如何在使用javascript或PHP的网站上实现Elastic Search的优秀文档。

非常完整的文档在这里和这里。

一个完整的CRUD。

使用PHP进行弹性搜索：这里，这里和这里。

因此，我之所以提供这些 URL，是为了了解如何在拥有预先存在的 SQL DB 时使用其中一个或多个出色的文档。

我在某处遗漏了这一点：正如他们说Elasticsearch将使用MongoDB创建自己的索引和DB时，我不明白如何使用SQL使用我的（巨型）数据库？假设我有一个MySQL数据库，我想使用Elasticsearch来加快我的研究速度，并提出用户预先制作的查询，我该怎么做？ES如何在MySQL上/沿MySQL工作？如何将这组庞大的数据集（超过8GB）传输到ES DB中，以便在开始时完全高效？

非常感谢

答案 1

我正在使用jdbc-river w/ mysql。它非常快。您可以将它们配置为持续轮询数据，或使用一次性（一次性策略）导入。

例如：

curl -xPUT http://es-server:9200/_river/my_river/_meta -d '
{
    "type" : "jdbc",
    "jdbc" : {
        "strategy" : "simple",
        "poll" : "5s",
        "scale" : 0,
        "autocommit" : false,
        "fetchsize" : 10,
        "max_rows" : 0,
        "max_retries" : 3,
        "max_retries_wait" : "10s",
        "driver" : "com.mysql.jdbc.Driver",
        "url" : "jdbc:mysql://mysql-server:3306/mydb",
        "user" : "root",
        "password" : "password*",
        "sql" : "select c.id, c.brandCode, c.companyCode from category c"
    },
    "index" : {
        "index" : "mainIndex",
        "type" : "category",
        "bulk_size" : 30,
        "max_bulk_requests" : 100,
        "index_settings" : null,
        "type_mapping" : null,
        "versioning" : false,
        "acknowledge" : false
    }
}'

答案 2

如果您需要一个性能更高、可扩展性更强的解决方案来执行 jdbc-river 提供的轮询，我建议您观看以下演示，其中介绍了如何执行从 SQL Server 到 Elastic Search 的增量同步：

视频中讨论的原则也适用于其他RDBMS ->NoSQL复制应用程序。