lenses

2020-10-27
浏览 (1538)

Lenses 是 Apache Kafka的流式数据管理平台，它是kafka的一个商用套件，也提供的开源版本，该开源版本包含超多组件，对于平时开发使用来说很友好，不需要去安装一堆开发组件，它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent REST Proxy 以及几个lenses开源的管理ui界面 kafka-topics-ui, schema-registry-ui, kafka-connect-ui，还包含了30多种kafka connector，大大减少了我们安装部署的工作量。

特性

特性	说明
灵活性	查看和存储任何类型的数据。使用批处理或交互式SQL对其进行操作
集成	有25多个（开源的流响应式）Kafka连接器，用于连接到流行的数据存储
安全	使用SSL，LDAP和Kerberos处理和控制敏感数据
可扩展性	提供SQL处理器并通过Kubernetes和其他可扩展模式对其进行扩展以适应您的需求
高可用性	有信心执行实时的操作业务任务
监控	提供基础架构和应用拓扑KPI
兼容性	可利用你现有的IT基础架构
审计	基于角色的访问和审计

Lenses 主要功能

浏览运行中的数据

Lenses提供了丰富的Web界面以及相关的REST和WebSocket端点，它们协同工作使你能够实时浏览Kafka主题，或者通过完全访问partition/offset/timestamp信息来浏览、搜索和过滤历史数据。

SQL处理器

使用 SQL 处理器创建无限数据查询以聚合、联接和/或转换流。通过 UI, 你可以可视化监视拓扑结构甚至扩展。此外, 执行计划查看器允许你优化性能。

流拓扑

使用Lenses, 你可以现在构建和操作复杂的流式拓扑结构，如ETL数据管道，流处理，以及将多个Connectors，Processors和Topics相结合的完整数据沿袭分析。

Lenses不仅能够可视化LSQL处理器的拓扑结构，还能够显示全局，高层次的景观视图，包括构成企业管线的主题，连接器和处理器。

Avro支持

完全支持Avro消息，包括十进制类型（适用于金融机构），在Lenses SQL Engine中可用。 Lenses平台与你的模式注册集成，并提供丰富的用户界面来创建、编辑和跟踪模式。

Kafka连接

通过Lenses，你可以管理多个“Kafka连接”集群，轻松构建流式ETL数据管道，同时监控连接器及其任务。 Lenses包含最大数量的Apache Kafka连接器（并支持Lenses SQL），适用于包括Cassandra、Elastic、InfluxDB、Azure CosmosDB、MQTT、JMS等在内的所有主要数据sources和sinks。

消费滞后

实时监控Kafka消费滞后并管理消费offset。设置警报以确保你可以扩展或采取适当的操作。

监控服务

通过JMX为Kafka Brokers，Zookeeper，Schema Registry和Connect监控核心服务和基础设施。预防潜在问题并对其做出响应，并深入了解集群的性能。

警报

设置警报并预防问题。

审计

跟踪Kafka集群的所有更改：主题创建，配置修改，删除（针对模式，连接器和处理器）。

安全

Lenses支持基本认证和LDAP。此外，还提供了不同的操作员角色来限制用户操作，为操作员提供了一种在Kafka上提供安全性的方法。用户可以管理主题ACL（访问控制列表）来限制reader和writer的数据。

Hadoop集成

使用CSD包（Cloudera自定义服务描述符）来升级你的数据流功能的Cloudera CDH集群，来部署、配置、扩展和管理你的Apache Kafka集群。完全支持Kafka Connect，并允许利用Cloudera Manager集成进行监控。

Lenses SQL引擎

Lenses SQL是一个多用途引擎，它完全支持Avro和Json负载类型，并且可以执行批处理和实时流SQL。

使用 docker 搭建 kafka-lenses

我们使用docker安装他们给我们提供的开源版本

# 拉取镜像
docker pull lensesio/fast-data-dev

# 启动镜像
docker run -d --name lenses -it  -p 2181:2181 -p 3030:3030 -p 8081:8081  -p 8082:8082 -p 8083:8083 -p 9092:9092 -e ADV_HOST=127.0.0.1 lensesio/fast-data-dev

lenses 的docker镜像大概有1.5G，可以使用docker logs -f lenses查看启动日志。

启动成功后访问lenses地址：http://127.0.0.1:3030

0 赞

所属分类： 大数据
本文标签： 大数据
版权声明： 原创文章如转载，请注明本文链接: https://www.seaxiang.com/blog/ERvEfa