lenses

  • 2020-10-27
  • 浏览 (62)

Lenses 是 Apache Kafka的流式数据管理平台,它是kafka的一个商用套件,也提供的开源版本,该开源版本包含超多组件,对于平时开发使用来说很友好,不需要去安装一堆开发组件,它自带了Apache Kafka, Kafka Connect, Zookeeper, Confluent Schema Registry,Confluent REST Proxy 以及几个lenses开源的管理ui界面 kafka-topics-ui, schema-registry-ui, kafka-connect-ui, 还包含了30多种kafka connector,大大减少了我们安装部署的工作量。

特性

特性 说明
灵活性 查看和存储任何类型的数据。 使用批处理或交互式SQL对其进行操作
集成 有25多个(开源的流响应式)Kafka连接器,用于连接到流行的数据存储
安全 使用SSL,LDAP和Kerberos处理和控制敏感数据
可扩展性 提供SQL处理器并通过Kubernetes和其他可扩展模式对其进行扩展以适应您的需求
高可用性 有信心执行实时的操作业务任务
监控 提供基础架构和应用拓扑KPI
兼容性 可利用你现有的IT基础架构
审计 基于角色的访问和审计

Lenses 主要功能

浏览运行中的数据

Lenses提供了丰富的Web界面以及相关的REST和WebSocket端点,它们协同工作使你能够实时浏览Kafka主题,或者通过完全访问partition/offset/timestamp信息来浏览、搜索和过滤历史数据。

SQL处理器

使用 SQL 处理器创建无限数据查询以聚合、联接和/或转换流。通过 UI, 你可以可视化监视拓扑结构甚至扩展。此外, 执行计划查看器允许你优化性能。

流拓扑

使用Lenses, 你可以现在构建和操作复杂的流式拓扑结构,如ETL数据管道,流处理,以及将多个Connectors,Processors和Topics相结合的完整数据沿袭分析。

Lenses不仅能够可视化LSQL处理器的拓扑结构,还能够显示全局,高层次的景观视图,包括构成企业管线的主题,连接器和处理器。

Avro支持

完全支持Avro消息,包括十进制类型(适用于金融机构),在Lenses SQL Engine中可用。 Lenses平台与你的模式注册集成,并提供丰富的用户界面来创建、编辑和跟踪模式。

Kafka连接

通过Lenses,你可以管理多个“Kafka连接”集群,轻松构建流式ETL数据管道,同时监控连接器及其任务。 Lenses包含最大数量的Apache Kafka连接器(并支持Lenses SQL),适用于包括Cassandra、Elastic、InfluxDB、Azure CosmosDB、MQTT、JMS等在内的所有主要数据sources和sinks。

消费滞后

实时监控Kafka消费滞后并管理消费offset。 设置警报以确保你可以扩展或采取适当的操作。

监控服务

通过JMX为Kafka Brokers,Zookeeper,Schema Registry和Connect监控核心服务和基础设施。 预防潜在问题并对其做出响应,并深入了解集群的性能。

警报

设置警报并预防问题。

审计

跟踪Kafka集群的所有更改:主题创建,配置修改,删除(针对模式,连接器和处理器)。

安全

Lenses支持基本认证和LDAP。 此外,还提供了不同的操作员角色来限制用户操作,为操作员提供了一种在Kafka上提供安全性的方法。 用户可以管理主题ACL(访问控制列表)来限制reader和writer的数据。

Hadoop集成

使用CSD包(Cloudera自定义服务描述符)来升级你的数据流功能的Cloudera CDH集群,来部署、配置、扩展和管理你的Apache Kafka集群。 完全支持Kafka Connect,并允许利用Cloudera Manager集成进行监控。

Lenses SQL引擎

Lenses SQL是一个多用途引擎,它完全支持Avro和Json负载类型,并且可以执行批处理和实时流SQL。

使用 docker 搭建 kafka-lenses

我们使用docker安装他们给我们提供的开源版本

# 拉取镜像
docker pull lensesio/fast-data-dev

# 启动镜像
docker run -d --name lenses -it  -p 2181:2181 -p 3030:3030 -p 8081:8081  -p 8082:8082 -p 8083:8083 -p 9092:9092 -e ADV_HOST=127.0.0.1 lensesio/fast-data-dev

lenses 的docker镜像大概有1.5G,可以使用docker logs -f lenses查看启动日志。

启动成功后访问lenses地址:http://127.0.0.1:3030

正文到此结束