IT之家获悉，官方先容，K510 在总线架构、IP 核心与视频子系统推出全新设计，比较一代芯片算力提升 3 倍，经典视觉算法大幅度优化，自研高速 PHY 接口理论带宽 10GB/s，8 位数据压缩率 50% 以上，极大优化了勘智 AI 系列在机器视觉场景的运用性能。
总线构造是一款 SoC 的紧张特色。为理解决 SoC 总线地址空间有限以及芯片受单一时钟的影响，嘉楠科技在 NoC 总线架构中设计了可扩展的地址空间，使每个 IP 核事情在特定的时钟域。
根据干系性，K510 将系统时钟构造划分成多个时钟域，从而办理分状态时钟掌握问题。把全体系统划分成多个可支持高下电操作的电源域，从而办理了分区域掌握能耗问题。
在 ISA 方面，K510 沿用 RISC-V 双核 64 位 CPU 架构，并集成了数字旗子暗记处理器 DSP 来赞助加速 AI 运用。不同的是，嘉楠科技为 DSP 设计了专用的片上存储，并且在双核 CPU 与 DSP 之间加入 mailbox 通信模块，以实现对系统各部分的灵巧调度。
K510 自主研发 IP 核 KPU2.0 领悟了嘉楠科技在算法、软硬件和编译器的最新设计，集中打破 AI 芯片设计中广泛存在的“存储墙”和“性能墙”的问题。
首先是“存储墙”，打算过程须要把数据从存储器搬运到处理器才能进走运算。而存储器的吞吐性能每每滞后于处理器的性能增长，直接影响了打算效率的提升。嘉楠科技在 KPU2.0 中采取了全局本地缓存设计，通过 SRAM 阵列知足神经网络中不同层级对内部访问带宽和存储的需求。
其次是“性能墙”，为了提升打算效率，KPU2.0 采取了动态 3D PE 阵列。第三个维度支持多种办法共享通报数据，并实现多个维度上的打算映射，提高 PE 阵列的利用率。同时也可以动态开启或关闭每一个 2D 阵列，并根据不同层级对带宽和打算资源的需求进行调度。
结合动态 3D PE 打算阵列和灵巧的全局本地访存设计，嘉楠科技提出的打算数据流，打算卷积不须要进行 im2col（image to column）数据重排，提升打算效率；而通过多级存储设计，K510 可以增加卷积打算的数据复用，从而减少数据的读取次数，降落芯片功耗。
同时，KPU2.0 还搭载了可重构的 SIMD 加速单元，通过创新的 meshnet 网络可以灵巧配置支持各种激活函数、pooling 和 resize 等算子。
K510 搭载的高速 PHY 接口由嘉楠科技自主研发。LPDDR4 支持 32 位双通道，最高频率 2700MHz，理论最大带宽 10GB/s。MIPI D-PHY spec v1.2, 支持 4 通道输入，每通道峰值速率达 2.5Gbps。
与第一代芯片比较，K510 在帧率和外设方面都有大幅优化。此外，K510 还支持浮点 BF16 打算，在不适宜进行模型量化的场景比较同类产品更具上风。
在外设方面，K510 搭载 MIPI CSI2 和 DVP 接口，可同时支持最多 3 个摄像头输入。MIPI CSI 接口支持 1x4 lane 和 2x2 lane 模式，灵巧支持各种 MIPI 摄像头。K510 MIPI 支持 DPHY v1.2 标准，最高速率每 lane 可达 2.5Gbps，支持 RAW, RGB, YUV 等各种盛行格式。
K510 内部还集成了 3 个图像处理单元 ISP, 个中一个 ISP 支持 3D 功能，无需软件参与，直接依赖硬件完成深度数据的提取加工，比较软件处理深度信息办法不但节省了巨大的 CPU 开销，性能上也会有很大提升。
为进一步提高芯片对算法模型的适配，嘉楠科技在 K510 的编译器和软件上联合优化带宽需求，对算法进行量化压缩。
K510 在设计上针对中间层数据和权重的分布特性采取不同的压缩算法。针对中间层打算数据，利用相邻数据的干系性进行无损压缩，即便 8 位数据的均匀压缩率也能达到 50% 以上，并且基本不丢失精度；对权重数据则采取稀疏压缩，在网络进行稀疏演习的情形下，压缩率也可以到 50% 以上。
在软件方面，K510 支持丰富的网络模型算子，包括常见的 CNN、RNN 和各种向量打算和数据处理操作。支持裸机、嵌入式 RTOS 和 Linux，并且移植了 OpenCV Python Numpy。同时，K510 支持 TensorFlow、PyTorch、ONNX 和 TVM 等主流深度学习框架，兼容性更强。
得益于架构优化和高清 MIPI 的强大配置，K510 支持 2~3 路 2K 显示和 VPU 图像拼接，以及业内最前沿的 TOF VSLAM 视觉导航技能，快速实现对障碍物的测距和避障，可用于无人机航拍、高清视频会媾和机器人等多个场景。
