技術人如何擁抱大數據
- 來源:中國信息化周報 smarty:if $article.tag?>
- 關鍵字:大數據,Facebook,網易 smarty:/if?>
- 發(fā)布時間:2015-12-01 17:25
2015中國軟件開發(fā)者大會
2015年11月19-21日,由CSDN重磅打造的“2015中國軟件開發(fā)者大會”(以下簡稱SDCC 2015)在北京朗麗茲西山花園酒店隆重召開。大會以全面反映中國軟件產業(yè)技術與發(fā)展、推動軟件開發(fā)實踐深入交流與分享為宗旨。在北京連續(xù)陰雨的雨雪天氣、活動地點較偏遠的(近北清路)的情況下,仍有1067名(不含工作人員)參會者來到現場共享本次技術盛宴。
本次大會是CSDN年度壓軸技術大會,邀請了近百名國內外業(yè)界領袖和知名專家共論技術熱點與最佳實踐,揭示下一代軟件開發(fā)技術趨勢與對各行業(yè)的深刻影響。來自Facebook、百度、阿里、騰訊、網易、奇虎360、今日頭條、唯品會等公司的一線技術專家針對各自研究領域分享最新的實戰(zhàn)經驗,結合實戰(zhàn)案例,深度剖析各個領域的技術問題,給與會者帶來一場技術饕餮盛宴。
大數據時代技術人的優(yōu)勢和弱勢
CSDN以及極客幫創(chuàng)始人蔣濤在大會開始時講道,這是一個新的創(chuàng)業(yè)時代,做開發(fā)有很多優(yōu)勢,也有很多風險,他說自己看了上千個項目,投了80個項目,程序員創(chuàng)業(yè)最難做的是什么?他就為程序員服務什么。他前兩年還去請教過雷軍,雷軍說他對一個痛點有一點了解就會去做。社區(qū)最大的痛點是離交易變現很困難,而且還沒有找到一個突破點,移動上的社區(qū)也沒有找到突破點,所以對于程序員而言,做社區(qū)是很困難的事情,設計、運營很重要,團隊里的結構也要合理,這是一個很大的風險,所以要順勢而為。
技術人的優(yōu)勢是可以做好產品、優(yōu)化功能等,把核心產品做好,同時找到一個突破口,不斷地去嘗試,可以用新一代的武器,相比別人來說掌握新武器更快更熟練,就可以成為決策人并發(fā)揮技術優(yōu)勢。技術人的弱點首先是設計能力相對比較弱,特別是中國的開發(fā)者,在用戶體驗方面需要加強,因為用戶越來越挑剔。其次是表達力,更好地表述自己產品的能力。最后是完成交易的能力比較弱,所以要找準技術人自己的優(yōu)勢并且跟著大勢走。
開發(fā)者如何應對大數據挑戰(zhàn)
今日頭條技術副總裁楊震原說道,現在每個人都在使用手機,手機上的傳感器越來越多,進步越來越快,以前只是可以錄音、拍照,現在隨著互聯網醫(yī)療傳感器的到來,你的心跳、地理位置全部都會被記錄下來,從這一點就可以很明確地說,大數據的時代會到來。
作為開發(fā)者大會,楊震原從兩個方面講到了大數據時代需要做出的改革。他首先表示,要把以前沒有辦法記錄的數據記錄下來。其次,要分析以前無法分析的數據。比如說記錄,記錄很多簡單的信息,比如點擊行為、交互行為的記錄。
楊震原表示,今日頭條以前會記錄一篇文章在頭條閱讀的時間,換一種記錄方法去看某一頁停了多少秒,進而又停留了多少秒,他會把這個序列記錄下來,就可以知道這個用戶是否很懂這個文章,所以這些行為的記錄都是非常有價值的,在新時代以前不能記、沒用的東西,都可以記錄下來,都有用,分析方法發(fā)生了變化,有很多要去分析。
從分析方法來說,第一是產品的應用越來越廣泛,有場景能夠去用到這些數據,第二是分析數據的方法也越來越多。通過充分地對數據的使用提高用戶的使用時長,更多的數據、更多的分析方法和應用的領域,這些就構成了大數據時代。數據越來越多,應用越來越多,硬件進步的速度在減慢,這就構成了大數據時代開發(fā)者面臨的挑戰(zhàn)。楊震原表示,開發(fā)者應該全線研發(fā)、更廣泛學習。當局部可以大幅改進時,更細的分工才會顯出優(yōu)勢。開始大家做CPU或者UI的改進,分工非常細,每一塊都在大幅改進,開發(fā)者必須學習才能帶來突破。從CPU指令集到操作系統(tǒng),從Hadoop到統(tǒng)計原理,從機器學習到產品的應用,只有通過學習才能找到突破點。
今日頭條不僅有文章還有視頻,對視頻的低質內容控制是很重要的,其在視頻播放列表頁放出了頂踩按鈕,通過簡單的加入頂踩的數據統(tǒng)計,會明顯提高對低質的打擊效果。
說到今日頭條在技術上的優(yōu)勢及今后需要改進的地方,楊震原說:“優(yōu)勢僅在國內,擁有這樣的一個產品平臺并不多見,目前更多的是充分把用戶行為數據使用起來,有很多更細節(jié)的問題,如什么樣的算法、模型、特征。更本質上說,可以把用戶行為記錄得更全面,充分使用。業(yè)界還沒有哪家公司像我們記得這么全,用得這么充分。舉個例子,閱讀這篇文章的時候,不是記錄用戶在這個頁面停留了多長時間、看了多久、隔了多少秒、看了幾條評論等等。據我了解,業(yè)界很少有公司這樣來做。記下來是一回事,用起來是另一回事。這兩點都做到并不容易。對系統(tǒng)架構、算法工程、產品都是很大考驗。今日頭條其實還是有很大的空間可以改進,機器還不足夠好,通過新用戶的行為我們怎么判斷他的喜好,怎樣找到他的喜好。還有目標的問題,什么樣的行為能表達用戶的喜好。我們相信在這些挑戰(zhàn)面前,我們要更早地去把它們用得更好、上新的臺階?!?/p>
計算廣告及工業(yè)大數據實質
360商業(yè)產品首席架構師劉鵬用兩年時間寫了一本書,書名叫《計算廣告》,講的是互聯網核心的變現模式就是廣告的模式,廣告可以成規(guī)模地把產品和數據變成錢,也是大數據產業(yè)在實際落地應用中最重要的一個。說到廣告計算對當今技術從業(yè)者帶來的影響時,劉鵬表示,計算廣告最深遠的影響是支持了互聯網新的商業(yè)模式。前端獲得大量用戶,通過另外的商務收錢的方法支持商業(yè)體系。最直接的結果就是原來根本不可能存在的很多產品出現。比如QQ,后項變現有的通過廣告和衍生的游戲,如果沒有后項變現的支持,QQ免費的產品是不會存在的。像360的安全衛(wèi)士也一樣,如果沒有后項變現支持,這些東西肯定要收費。殺毒軟件和安全工具在走向免費之前,整體用戶中,普及率是很低的。大量用戶把自己的日常行為保護起來了,最大的一個意義是真正解放了很多用戶產品上的生產力。
其次,從大數據的角度來說,規(guī)?;募庸な占褪褂脭祿?,計算廣告是整個行業(yè)的一個先驅。這件事情從2005年左右就開始落地應用了。今天已經是相當成熟的產業(yè),并且是形成規(guī)模化以后的產業(yè)。所以所有研究大數據的人必須了解《計算廣告》,要不然一定會走很多的彎路。這些彎路廣告領域都走過,其他領域也一定會碰到同樣的問題。
最后,對廣告行業(yè)本身,通過計算廣告這樣的一種變現方式,讓大家看到技術和計算的力量,真的能夠改變一個行業(yè)。今天我們通過計算的方法去服務的廣告主數量,是傳統(tǒng)數百年間服務廣告主數量的上百倍,甚至上千倍。大量的中小企業(yè)原來沒有辦法去做自己的精確營銷,今天在計算數據支持下,他們都找到了自己營銷的手段。所以對互聯網、大數據、廣告行業(yè),計算廣告本身,雖然是一個不大的點,但實際上都起著非常關鍵的支持作用。
談到工業(yè)界在碰到大數據這個詞的時候有哪些方面的不一樣,他提出了三個最關鍵的點,在面對任何一個行業(yè),要去擁抱大數據時代,在找到大數據的接入的時候要想清楚這三點問題,第一,找到一個自動化應用,找到一個可以用機器決策的自動化應用。第二,找到相應的行為數據來源。第三,確定全量加工的技術和相應的問題。
本報記者 馮霄霞
