雇員點(diǎn)評(píng)標(biāo)簽
職位描述
數(shù)據(jù)湖Spark
崗位職責(zé):
1、設(shè)計(jì)并開(kāi)發(fā)高性能、高可靠的海量數(shù)據(jù)ETL/ELT管道，支撐制造業(yè)各類(lèi)業(yè)務(wù)數(shù)據(jù)的接入、清洗、整合與計(jì)算。
2、深入理解制造業(yè)業(yè)務(wù)（如生產(chǎn)、質(zhì)量），將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)模型與技術(shù)方案，主導(dǎo)或參與數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)看板等核心數(shù)據(jù)應(yīng)用的開(kāi)發(fā)與落地。
3、熟練使用 Hive 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)分層模型，編寫(xiě)高效HQL，具備Hive性能優(yōu)化經(jīng)驗(yàn)，基于Spark 進(jìn)行大規(guī)模數(shù)據(jù)的分布式計(jì)算與處理，精通SparkCore、SparkSQL，具備豐富的性能調(diào)優(yōu)（內(nèi)存、Shuffle、SQL等）經(jīng)驗(yàn)，具備核心代碼性能調(diào)優(yōu)和資源調(diào)度的豐富經(jīng)驗(yàn)。
4、熟悉數(shù)據(jù)湖技術(shù)，有使用 Hudi 或 Paimon 等數(shù)據(jù)湖格式的實(shí)際項(xiàng)目經(jīng)驗(yàn)，用于實(shí)現(xiàn)數(shù)據(jù)的增量更新、流批一體處理、構(gòu)建近實(shí)時(shí)數(shù)倉(cāng)等場(chǎng)景。
5、解決大數(shù)據(jù)平臺(tái)運(yùn)行中遇到的技術(shù)難題，持續(xù)跟蹤大數(shù)據(jù)領(lǐng)域新技術(shù)，推動(dòng)其在業(yè)務(wù)中的合理應(yīng)用，并能夠指導(dǎo)和培養(yǎng)初級(jí)工程師。
任職要求:
1、計(jì)算機(jī)科學(xué)或相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)。
2、熟練掌握 Scala 和/或 Java，具備良好的編程習(xí)慣和系統(tǒng)設(shè)計(jì)能力。
3、有制造業(yè)領(lǐng)域數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉以下一個(gè)或多個(gè)業(yè)務(wù)領(lǐng)域者優(yōu)先（MES/QMS）。
4、具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神，能夠承擔(dān)壓力，對(duì)解決具有挑戰(zhàn)性的問(wèn)題充滿(mǎn)激情。
1、設(shè)計(jì)并開(kāi)發(fā)高性能、高可靠的海量數(shù)據(jù)ETL/ELT管道，支撐制造業(yè)各類(lèi)業(yè)務(wù)數(shù)據(jù)的接入、清洗、整合與計(jì)算。
2、深入理解制造業(yè)業(yè)務(wù)（如生產(chǎn)、質(zhì)量），將業(yè)務(wù)需求轉(zhuǎn)化為數(shù)據(jù)模型與技術(shù)方案，主導(dǎo)或參與數(shù)據(jù)中臺(tái)、數(shù)據(jù)倉(cāng)庫(kù)數(shù)據(jù)看板等核心數(shù)據(jù)應(yīng)用的開(kāi)發(fā)與落地。
3、熟練使用 Hive 構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)分層模型，編寫(xiě)高效HQL，具備Hive性能優(yōu)化經(jīng)驗(yàn)，基于Spark 進(jìn)行大規(guī)模數(shù)據(jù)的分布式計(jì)算與處理，精通SparkCore、SparkSQL，具備豐富的性能調(diào)優(yōu)（內(nèi)存、Shuffle、SQL等）經(jīng)驗(yàn)，具備核心代碼性能調(diào)優(yōu)和資源調(diào)度的豐富經(jīng)驗(yàn)。
4、熟悉數(shù)據(jù)湖技術(shù)，有使用 Hudi 或 Paimon 等數(shù)據(jù)湖格式的實(shí)際項(xiàng)目經(jīng)驗(yàn)，用于實(shí)現(xiàn)數(shù)據(jù)的增量更新、流批一體處理、構(gòu)建近實(shí)時(shí)數(shù)倉(cāng)等場(chǎng)景。
5、解決大數(shù)據(jù)平臺(tái)運(yùn)行中遇到的技術(shù)難題，持續(xù)跟蹤大數(shù)據(jù)領(lǐng)域新技術(shù)，推動(dòng)其在業(yè)務(wù)中的合理應(yīng)用，并能夠指導(dǎo)和培養(yǎng)初級(jí)工程師。
任職要求:
1、計(jì)算機(jī)科學(xué)或相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷，5年以上大數(shù)據(jù)開(kāi)發(fā)經(jīng)驗(yàn)。
2、熟練掌握 Scala 和/或 Java，具備良好的編程習(xí)慣和系統(tǒng)設(shè)計(jì)能力。
3、有制造業(yè)領(lǐng)域數(shù)據(jù)應(yīng)用開(kāi)發(fā)經(jīng)驗(yàn)，熟悉以下一個(gè)或多個(gè)業(yè)務(wù)領(lǐng)域者優(yōu)先（MES/QMS）。
4、具備良好的溝通能力和團(tuán)隊(duì)協(xié)作精神，能夠承擔(dān)壓力，對(duì)解決具有挑戰(zhàn)性的問(wèn)題充滿(mǎn)激情。
工作地點(diǎn)
濰坊奎文區(qū)歌爾光電園2期
相似職位
- 大數(shù)據(jù)開(kāi)發(fā)(045991)1.6-2.5萬(wàn)
濰坊 - 奎文
歌爾股份 濰坊
濰柴動(dòng)力股份有限公司- 數(shù)據(jù)開(kāi)發(fā)工程師1-1.5萬(wàn)·13薪
濰坊 - 奎文
長(zhǎng)亮科技 - 大數(shù)據(jù)開(kāi)發(fā)工程師5000-8000元
濰坊 - 奎文
萬(wàn)聲信息產(chǎn)業(yè)有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車(chē)招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車(chē)招聘
- 長(zhǎng)城汽車(chē)招聘
- 奇瑞汽車(chē)招聘
- 理想汽車(chē)招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車(chē)招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
高華光/人事經(jīng)理
三日內(nèi)活躍立即溝通
歌爾股份
歌爾股份有限公司成立于2001年6月，2008年5月在深交所上市，是全球布局的科技創(chuàng)新型企業(yè)，主要從事聲光電精密零組件及精密結(jié)構(gòu)件、智能整機(jī)、高端裝備的研發(fā)、制造和銷(xiāo)售，目前已在多個(gè)領(lǐng)域建立了綜合競(jìng)爭(zhēng)力。秉持一站式服務(wù)為客戶(hù)創(chuàng)造更大價(jià)值的理念，歌爾深耕產(chǎn)業(yè)價(jià)值鏈上下游，已與消費(fèi)電子領(lǐng)域的國(guó)際知名客戶(hù)達(dá)成穩(wěn)定、緊密、長(zhǎng)期的戰(zhàn)略合作關(guān)系。從上游精密元器件、模組，到下游的智能硬件，從模具、注塑、表面處理，到高精度自動(dòng)線的自主設(shè)計(jì)與制造，歌爾打造了在價(jià)值鏈高度垂直整合的精密加工與智能制造的平臺(tái)，為客戶(hù)提供全方位服務(wù)。歌爾研發(fā)布局全球，在美國(guó)、日本、韓國(guó)、丹麥、北京、青島、深圳、上海、南京、臺(tái)灣等地分別設(shè)立了研發(fā)中心，以聲光電為主要技術(shù)方向，通過(guò)集成跨領(lǐng)域技術(shù)提供系統(tǒng)化整體解決方案。我們一起創(chuàng)造We make it together我們是要用青春、生命，學(xué)習(xí)掌握現(xiàn)代一流科技，研究把握現(xiàn)代人內(nèi)心需求，運(yùn)用現(xiàn)代一流科技和深沉持久的愛(ài)心創(chuàng)造出具有卓越品質(zhì)的聲學(xué)、光學(xué)、微電子等產(chǎn)品，為人們的生活創(chuàng)造美好的聲音、畫(huà)面、創(chuàng)造美好的情懷、品德和生命形態(tài)等，讓全世界所有與歌爾相關(guān)的客戶(hù)、員工、股東、合作伙伴的生活因歌爾的存在而變得更加美好。>;秉持一站式服務(wù)為客戶(hù)創(chuàng)造更大價(jià)值的理念，歌爾深耕產(chǎn)業(yè)價(jià)值鏈上下游，已與消費(fèi)電子領(lǐng)域的國(guó)際一流客戶(hù)達(dá)成穩(wěn)定、緊密、長(zhǎng)期的戰(zhàn)略合作關(guān)系。從上游精密元器件、模組，到下游的智能硬件，從模具、注塑、表面處理，到高精度自動(dòng)線的自主設(shè)計(jì)與制造，歌爾打造了在價(jià)值鏈高度垂直整合的精密加工與智能制造的平臺(tái)，為客戶(hù)提供全方位服務(wù)。>;歌爾研發(fā)布局全球。在美國(guó)、日本、韓國(guó)、丹麥、瑞典、北京、青島、深圳、上海、南京、臺(tái)灣等地分別設(shè)立了研發(fā)中心，以聲光電為主要技術(shù)方向，通過(guò)集成跨領(lǐng)域技術(shù)提供系統(tǒng)化整體解決方案。>;我們一起創(chuàng)造 We make it together!
公司主頁(yè)