{"repo":"ZhuoZhuoCrayon/AcousticKeyBoard-Web","free":true,"listed":false,"github":"https://github.com/ZhuoZhuoCrayon/AcousticKeyBoard-Web","clone":"git clone https://github.com/ZhuoZhuoCrayon/AcousticKeyBoard-Web.git","description":"❓声学键盘｜脑洞大开：做一个能听懂键盘敲击键位的「玩具」，学习信号处理 / 深度学习 / 安卓 / Django。","language":"Python","stars":88,"topics":["deep-learning","django","lstm","mfcc","tensorflow"],"license":"MIT","category":"machine-learning","readme_excerpt":"🔊⌨️ AcousticKeyBoard ❓脑洞大开：做一个能听懂键盘敲击键位的「玩具」，学习信号处理 / 深度学习 / 安卓 / Django。 基于声学信号处理及深度学习的键盘敲击识别系统。 👉 B 站 Demo 演示。 💡Ideas 上图为完整的按键信号（采样率：48 kHz）。 1）💥 脑洞 按键敲击最高世界记录约为 800 / min，平均每 75 ms 敲击一次键盘，即按键重叠发生在 3,600 的 silence 片段。 单人敲击键盘场景下，Hit 片段不会重合，并且 不同按键所处位置、形状有所区别，Hit 具有可识别特征 。 空格与其他按键形状不同，敲击声已明显不同。 不同按键周围的固体环境有差异，声音信号基于固体传导，在峰段存在差异。 2）📈 预测结果 A-V，LSTM。 🔍 Processing 1）有效信号提取（Voice activity detection） 代码：apps/keyboard/core/vad.py 2）降噪（中值滤波，Median filter） 3）特征提取（梅尔频率倒谱系数，Mel-frequency cepstrum） 代码：apps/keyboard/core/mfcc 4）训练 基于 Tensorflow 搭建 LSTM 模型，在堆层数不多的情况已经达到比较好的效果。 代码：apps/keyboard/core/algorithm 📦 Usage 预测： 更多：apps/keyboard/handler/model inst.py。 🔧 Installation App AcousticKeyBoard-Mobile 👉 https://github.com/ZhuoZhuoCrayon/AcousticKeyBoard-Mobile。 Web 1）在 env 文件下创建 dc dev.env 文件，导入环境变量。 2）创建 MySQL 数据库。 3）运行 📣Things to know 每个人敲击键盘习惯不同，泛化模型能力难度比较大。 学术价值有但不高，更多是基于这个 idea 进行学习。","default_branch":null,"files":null,"tree":[],"storefront":"/r/ZhuoZhuoCrayon","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/ZhuoZhuoCrayon/AcousticKeyBoard-Web/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}