专业技能
Java / Python / TypeScript / Vue — 95%
大数据平台(Spark / Hadoop / YARN 等)— 92%
推荐系统 / NLP / 各类推荐算法 — 88%
云与运维(Aliyun / AWS / Cloudflare / Docker)— 85%
Chrome 插件开发 — 82%
编程语言:Java(Spring / MVC / MyBatis / RESTEasy)、Python(PyTorch / Playwright / NLP / Pandas)、MySQL、PostgreSQL
大数据与云:Spark / Spark Streaming、Hadoop / MapReduce、YARN、Zookeeper、HBase、Kafka、Flume、Elasticsearch、Transwarp 星环、Aliyun(DataHub / MaxCompute / OSS)、AWS(EC2 / 云迁移)、Redis、Grafana、Jenkins、Docker
算法 · AI · 工程:推荐系统(Apriori / 各类相似度分析 / 用户画像)、NLP 关键词提取与情感分析、回归算法、梯度下降、RESTful Web Service、Chrome / Edge 插件、Git / SVN / Maven、Quartz / Mesos 任务调度
项目经历
实时热点追踪系统 · 爬虫 · NLP
基于 Python + Playwright + 指纹浏览器 + ddddocr 搭建分布式爬虫集群,实时监测微博、抖音、百度等主流平台榜单;以 Redis 作为任务队列与去重中心支撑高并发抓取,热点信息延迟控制在 30 秒以内;引入 NLP 关键词提取与噪音过滤,自动输出高价值趋势报告。
技术栈:Python、Playwright、Redis、ddddocr、NLP、分布式爬虫
数据采集与精准推送平台 · 大数据平台
基于 Flume 采集数据落地 Kafka 与 Aliyun DataHub,统一汇聚至 MaxCompute 与 OSS 构建流批一体数据源;以 Spring Boot + Quartz + Mesos 实现分布式任务调度,结合 Spark Streaming 清洗、HyperLogLog 估算 PV / UV、线性回归预测收益,借助 Elasticsearch + Grafana 实现数据可视化与精准投放。
技术栈:Flume、Kafka、Spark、Elasticsearch、Grafana、Aliyun
智能邮件推荐系统 · 推荐系统
为锦江电商 EDM 设计基于用户浏览记录的智能推荐引擎,替代「人工筛选 + 前端协助」的邮件发送模式,降低人力成本并提升转化。
技术栈:推荐算法、用户画像、EDM、Spark、Hadoop
趣兜兜新虹桥 O2O 平台 · O2O 平台
基于 WIFI / GPS / GPRS 室内外定位、LBS 与云计算,搭建线下 + 线上 O2O 信息消费商业云平台,整合购物 / 交通 / 餐饮 / 娱乐 / 旅游 / 酒店六大场景。
技术栈:LBS、云计算、O2O