大数据开发通常需要编程技能,根据我3年多的编程经验,编程技能将带来更好的开发。大数据开发一般有数据仓库开发、数据分析、数据开发三大类,每一类都需要不同的技能。但他们都有很多共同点。一般技能: 除了基本的 sql 能力,包括使用传统数据库如 mysql 和 oracle,以及分布式数据库如 hive 和 hbase 的能力,其他的,如 mapreduce 和 spark,会更好。可以使用聚类,聚类除了问题具有一定的解聚类问题的能力。数据仓库开发: 能够编号仓库建模、维表、事实表、主题表、星型模型、雪花型模型等,熟悉业务、全局视图,建立数据仓库。数据开发: 数据开发有离线开发和实时开发,这种后端开发比较偏向于 java 按需开发,加上程序的日常维护。数据分析: 这需要很强的 sql 技能,如果你能在数据分析中使用 python 会更好。要掌握像 sqoop 和 kettle 这样的常用 etl 工具,请使用报告系统。当然,如果你想学习,你可以学得更深入。毕竟,在通常的发展过程中,特别是小公司的分工不明确,这些技能或多或少都是我们需要掌握的。一个人可以成为几个人,就像一个全能工程师。